2026/10/01 23:51
コンテキストモデル
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Context Language Models（CLM）は、情報を更新可能なファイルとしてネイティブに管理し、外部ツールからの制御をモデルの核心ロジックへとシフトさせることで、人工知能における画期的な進歩を象徴します。このアプローチは、ファインチューニングを行わずして既存のモデルにおいて従来の手法を上回り、BrowseComp-Plus では 11.4% の高精度化と 21.5% の FLOPs 削減を実現し、さらに 12 時間の EdgeBench タスクでは 5% のスコア向上と 59% の FLOPs 削減を達成しました。また、同じ計算資源を用いた 24 時間のマルチリポジトリ・エージェント・スウォームタスクにおいては、65% の大幅な性能改善を示しています。この革新は、特に自然言語による最適化ループと組み合わせる際に威力を発揮し、コンテキスト管理タスクにおける精度を最大 35.9 ポイント向上させます。あるいはオンライン強化学習と組み合わせることで、12% の FLOPs 削減を実現しながら性能を 47.6% 向上させることも可能です。特に noteworthy なのは、これらの成果がファインチューニングを行わないことにより達成され、即時のゼロショット展開が可能である点です。今後の展開においては、この技術は共同設計された Suffix Cache Reuse 技術と統合され、サーバーサイドの計算コストを 35%削減することで持続的な効率性を確保します。業界全体にとっても、CLM は標準ハードウェアを使用して長文脈課題に挑むことを可能にし、タスクごとの総浮動小数点演算数（FLOPs）を著しく低減させます。この進歩は、特別なリソースを必要とせず、誰でもアクセス可能な、効率的かつ高機能な AI の新たな時代をもたらすと約束します。
本文
文脈言語モデル（CLM）の導入による革新的な文脈管理能力と効率化
概要
**文脈言語モデル（Context Language Models, CLMs）**は、モデル自身によって文脈を原生的に管理するように設計された新しいタイプの言語モデルです。本研究では、以下の画期的な機能を実現しました。
- 文脈を「ファイル」として扱う: モデルがファイルを無制限に更新・編集可能にすることで、文脈内の最重要情報を自主的に学習させる仕組みを構築しました。
- マルチエージェントシステムへの拡張: 複数のエージェントの文脈をそれぞれ独立したファイルとして並存させ、自然な拡張性を確保しています。
既存モデルでのゼロショット性能向上
既存のモデルを用いた CLM の適用（ゼロショット）により、多様なタスクにおいてSOTA（最良の現在技術）を上回る性能を発揮しました。
- BrowseComp-Plus:
- 精度：+11.4% 向上
- FLOPs: -21.5% 削減（計算コストの低減）
- EdgeBench（12 時間）:
- スコア：+5% 向上
- FLOPs: -59% 削減
- マルチリポジトリエージェント群タスク（24 時間）:
- 計算資源利用量は同等のまま
- 改善幅：+65% 拡大
文脈管理の学習メカニズムの転換
従来の外部フレームワークによる制御から、モデル自身の内在的振る舞いへシフトさせることで、高度な学習能力を獲得しました。
- 文脈内学習（In-context Learning）: 指示文を通じて学習が可能に。
- パラメトリック学習（Parametric Learning）: パラメータを更新して知識を蓄積可能に。
スキロ最適化による性能強化
標準的な**スキロ最適化（SFT）**ループを通じて、自然言語指示でモデルを効果的に steer（誘導）可能です。
- 保持データセットでの精度: 最大 +35.9 ポイントの向上を実現。
- 計算コスト: 向上させる一方で総体でのコスト削減も達成。
オンライン強化学習によるさらなる突破
CLM 向けに特化したオンライン強化学習手法を提案し、劇的な性能向上を果たしました。
- モデル: Qwen3.5-9B（BrowseComp-Plus）
- 精度向上: +47.6%
- FLOPs 削減: -12%
サーバーサイド効率化の実現
CLM サービング向けのサフィックスキャッシュ再利用と共設計を行うことで、インフラコストの大幅削減を達成しました。
- 計算資源使用量: 標準的な SGLang と同等の性能下で、**-35%**の削減を実現。