
2026/05/22 4:37
マルチストリーム大規模言語モデル:プロンプト、思考プロセス、および入出力を並列化・分離化する新刊論文について
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
この文章は、従来の単一ストリームの AI 処理から、複数の並列計算ストリームへの根本的な転換を提案しており、これにより現在の使いやすさの限界を克服する。ChatGPT などの早期モデルでは、システムが読むことを完了してから行動したり、書く前に思考したりするような堅牢な順次形式に依存していたが、この新アーキテクチャではエージェントが読みながら行動し、書きながら同時に思考することを可能にする。役割の分離を改善することで効率性とセキュリティに関するボトルネックに対処できるようになるため、従来の順序性行为を強制する古いインストラクションチューニング手法を置き換える代わりに、すべてのフォワードパスで複数の入力ストリームから読み取りを行い、因果的に依存した複数の出力ストリームでトークンを生成するという構造へと移行する。このアプローチは、使いやす性の向上、並列化によるモデル効率の向上、関心の分離によるセキュリティ強化、ならびにモニタリビリティの増大を目的としている。ジョナス・ゲイピンによって提出されたこの作業(バージョン [v1]、2026 年 5 月 12 日水曜日)は、複雑なタスクを実行することを妨げてきたデッドロックなどの問題を直接解決するように設計されている。最終的には、この並列構造の採用により、順次処理によって制限されていたモデルの機能を解放することができ、ユーザーには大幅に向上した使いやすさを提供し、企業にはより効率的で安全かつモニタリング可能な自律システムを構築できる。
本文
【要約】
言語モデルの性能が引き続き向上することで、コーディングやコンピューター使用など、自律的なエージェントを駆動する手段として広く利用されるようになりました。しかしながら、これらのシステムの核心部分は、ChatGPT などの早期に指示調整(instruction-tuning)されたモデルが登場して以来、大きな変化を受けずにおり、高度な AI エージェントであっても、メッセージの交換形式に基づいており、単一の計算ストリームの中でユーザー、システム、自身(思考連鎖を伴うものも含む)、そしてツールとの間で逐次的にメッセージ交換を行うという点に変わりはありません。チャットモデルにおけるこの単一ストリームのボトルネックは、次のような複数の制限を引き起こしています:エージェントが読み込み中にもかかわらず出力(行動)を生成することができず、逆に書式化中に新しい情報に対して反応することができないという双方向の制約です。同様に、思考しながら行動することはできず、あるいは読み込み中や情報への対応行動中において思考を行うこともできません。
本研究では、指示調整を行う際のメッセージ形式が逐次的な流れから、並列な複数の計算ストリームへと変更し、それぞれの役割を別々のストリームに分割する手法によって、モデルの封じ込めを解くことができることを示します。このアプローチにより、言語モデルの前向きパッセージ(forward pass)のたびに、複数の入力ストリームから同時に読み込みを行い、複数の出力ストリームでトークンを生成することが可能となり、これらすべてのストリームは過去の時間ステップに因果的に依存しています。我々は、このデータ駆動型の変更が上記に挙げたいくつかの使用面での制限を是正し、並列化を通じてモデルの効率性を向上させるとともに、関心の分離(separation of concerns)の改善によりモデルのセキュリティを強化すると同時に、さらにモデルの監視可能性も向上させることができると考えます。
投稿履歴:Jonas Geiping [メールアドレス表示]
[v1] 2026 年 5 月 12 日 17:47:41 UTC(871 KB)