2026/10/19 5:48
潜在空間で思考し、テキストを通じて行動するハイブリッド推論エージェント：LLM エージェント
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
ハイブリッド推論エージェントは、テキストとの相互作用と深層推論を単一かつシームレスな生成プロセスで統合することで、AI において画期的な飛躍をもたらします。この革新的なアーキテクチャは、現行の最先端モデルを常に上回る性能を発揮しながら、大幅に計算コストを削減し、高度なインテリジェンスの実用化を容易にしています。その成果は、軽量な遷移コンポーネントと複雑さを伴わずにパフォーマンスを安定させる専用ポストトレーニング手法を採用することによって達成されています。
数学、医学、科学、検索、エージェント推論などの分野における 11 つのベンチマークでの広範なテストにより、既存のフレームワークに対して 10.4% の性能向上が確認されました。特に重要なのは、この効率化が莫大な節約をもたらす点です：トークン使用量は最大で 54.7% も減少し、推論速度は約 2.6 倍に向上（1.8 倍から 2.6 倍）、運用コストは最大で 3.7 分の 1 に抑えられます（2.7 倍から 3.7 倍の削減）。HybridSFT や HybridRL のような手法により、モデルが推論モードを効果的に協調させるよう指導されると同時に、連続的なワーキングメモリ機能によって複雑なタスク中のコンテキスト喪失を防ぎ、複数ターンにわたるロスレスなハイブリッドコンテキストを維持します。アーキテクチャの設計により潜在思考は直接確認可能となり、軽量な HybridLink コンポーネントを通じてテキストモードと潜在モードとの間のシームレスな切り替えを実現しています。大規模エージェントの導入を検討する企業にとって、この技術は卓越した速度と資源削減による直ちに適用可能な利点を提供します。これらは正確性や能力を損なうことなく実現されます。コードとデータは、提供されたリンクから入手可能です。
本文
ハイブリッド推論エージェント（HybridAgents）の提案：テキストと潜在思考を架橋する新アーキテクチャ
研究背景と課題
現代の大規模言語モデル（LLM）を活用したエージェントは、以下のような根本的な限界に直面しています。
- テキスト依存: 推論と相互作用が主にテキストベースであるため非効率的。
- 潜在推論の欠如: 潜在的な思考（latent reasoning）を用いることで内部処理を効率化できるとしても、それらはツールへのアクセス能力や推論の透明性に欠けていた。
ハイブリッド推論エージェント（HybridAgents）の概要
本研究では、「潜在的推論」と「テキストベース相互作用」を動的にナビゲートする手法を提唱します。これにより、両アプローチの長所を組み合わせた新しいエージェントを実現しました。
主要な貢献
- 統合された生成プロセス: 全体を通じて、潜在思考とテキスト応答の間のシームレスな移行を可能にする。
- ロスレスなハイブリッド文脈: 軽量な設計により、複数のターンにわたり連続的なワーキングメモリを保持する。
- ツール統合の維持: 潜在的思考を検出・検査可能にしつつ、ネイティブツールへのアクセス能力は損なわない。
アーキテクチャ：HybridLink と動的ナビゲーション
アーキテクチャの中核となるコンポーネントと機能です。
HybridLink（ハイブリッドリンク）
- 役割: テキストモードと潜在モード間のシームレスな移行を実現する軽量コンポーネント。
- 機能: エージェントが状況に応じて最適な思考媒体を切り替えることを支援します。
ワーキングメモリと文脈管理
- エージェントの連続的なワーキングメモリが、複数のターンにわたるロスレスなハイブリッド文脈を保持します。
訓練アルゴリズム：HybridSFT と HybridRL
アーキテクチャ基盤上で開発された専用ポストトレーニング手法です。
HybridSFT（超少样本微調整）
- 目的: バックボーンモデルが HybridLink と協調して動作することを教えること。
- 効果: ツール統合型のハイブリッド生成を安定化させます。
HybridRL（強化学習最適化）
- 学習内容: 「潜在空間内で思考すべきか」「テキストを通じて行動すべきか」の判断を学習させる。
- 効果: エージェントの推論能力を拡張します。
評価結果：ベンチマークと性能向上
数学、科学、医療、検索、およびエージェント的推論を含む11 のベンチマークにて、3 つの異なるモデルスケールで評価を行いました。従来の最先端 LLM エージェントおよびテキストベース・潜在手法単独のアプローチと比較した結果です。
主要な改善数値
- 性能向上: 一貫して 10.4% のパフォーマンス改善を達成。
- コスト削減: コストが 2.7 倍〜3.7 倍 に削減。
- 効率化: トークン使用量が 35.5%〜54.7% も削減。
- 速度向上: 推論速度が 1.8 倍〜2.6 倍 高速化。
リソース公開
- 本プロジェクトのコードとデータは、公式ページ URL にて公開されています。