
2026/01/03 20:29
再帰型言語モデル
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
改訂要約
本稿では、Recursive Language Models(RLMs)という推論戦略を紹介します。RLMsは、大規模言語モデルが任意に長いプロンプトを外部環境として扱うことを可能にします。プログラム的にプロンプトを小さなスニペットに分解し、各部分で再帰的に自身を呼び出すことで、LLMは本来のコンテキストウィンドウよりも最大2桁大きい入力を処理できます。4つの多様な長文コンテキストタスクにわたる実験では、RLMsがベースとなるLLMおよび一般的な長文コンテキストスキャフォールドを大幅に上回り、クエリあたりのコストは同等または低く抑えつつ、精度を向上させました。著者であるAlex Zhang は、この研究を 2025年12月31日にバージョン v1 として提出しました。広範に採用されれば、RLMs は長いプロンプト処理の標準的手法となり、大規模コンテキストを必要とするアプリケーションでより経済的かつ正確なLLM展開を可能にします。
本文
概要
本研究では、推論時に大規模言語モデル(LLM)が任意に長いプロンプトを処理できるようにすることを、スケーリングの観点から検討します。
「再帰型言語モデル(RLM)」という一般的な推論戦略を提案し、長いプロンプトを外部環境の一部として扱い、LLM がプログラム的にプロンプトを調べ・分解し、スニペットごとに再帰的に自己呼び出しできるようにします。
実験結果から、RLM はモデルのコンテキストウィンドウを最大 100 倍以上超える入力を正しく処理できることが確認されました。また、短いプロンプトでも、ベース LLM や従来の長文対応手法と比べて、4 種類の多様な長文タスクにおいて大幅に性能向上しつつ、クエリあたりのコストは同等(場合によっては低い)であることが示されました。
投稿履歴
寄稿者: Alex Zhang
[メールを表示] [v1] 2025年12月31日(水)03:43:41 UTC (7,933 KB)