2026/05/16 18:30
デルタ・メモリ：大規模言語モデルのための効率的なオンラインメモリ
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
本論の核心は、コアアーキテクチャを変更せず、長期動作エージェントシステムを大幅に強化する軽量なメモリ機構である「δ-mem」の導入にあります。過去の情報圧縮を $8\times8$ の固定サイズ状態行列化し、生成時にロウアウト（readout）によって低ランク補正を適用することで、フルファインチューニングやバックボーン置換に伴う高計算コストを回避します。この手法は、既存の非δ-mem ベースラインに対して正確に $15%$ の性能向上を実現し、フrozen バックボーンとの比較ではスコアが $1.10$ 倍、最も強力なベースラインとの比較では $1.15$ 倍という超過 $10%$ の向上を達成します。MemoryAgentBench や LoCoMo など専門ベンチマークで検証され（それぞれ $1.31\times$ と $1.20\times$ のスコアを得る）、メモリ負荷の高いタスクにおいて極めて有効であることが示されました。従来の文脈拡張や明示的なモデル修正を必要とする手法とは異なり、δ-mem は最小限の関連記憶状態を用いてフrozen フルアテンションバックボーンを増幅します。この革新により、開発者は一般能力とベンチマーク結果を効率的に向上させられ、システム全体再訓練のオーバーヘッドなしで長期記憶改善を目指す既存モデルに対する基礎的なアップグレードを提供します。
本文
PDF ビューア
サマリー: 大規模言語モデル（LLM）は、長期にわたるアシスタントやエージェントシステムの構築において、過去の情報とその再利用をますます必要としています。単にコンテキストウィンドウのサイズを拡大するだけではコストが高くなるばかりか、効果的な文脈の利用を保証しきれない場合があります。本稿では、凍結されたフル・アテンションバックボーンにコンパクトなオンライン状態（連想記憶）を組み合わせた軽量なメモリ機構「δ-mem（デルタ・メム）」を提案します。「δ-mem」は、過去の情報を圧縮して固定サイズの状態行列へと統合し、学習にはデルタ則を用います。生成段階においては、この出力を利用した低ランク補正により、バッキングのアテンション計算を改善します。オンラインメモリ状態がわずか $8\times 8$ の場合でも、「δ-mem」は凍結されたバックボーンを基準として平均スコアを $1.10$ 倍、最も性能の高い「δ-mem」以外のメモリベースラインを基準としても $1.15$ 倍の向上をもたらします。特にメモリ負荷が高いベンチマークでも顕著な効果が見られ、MemoryAgentBench では $1.31$ 倍、LoCoMo では $1.20$ 倍のスコアを達成しています。なお、汎用能力は大きく低下していません。これらの結果は、フル・ファインチューニングやバックボーンの置換、コンテキストの明示的拡張といった工程を導入せずに、注意力計算と直接結びついたコンパクトなオンライン状態を通じて、効果的なメモリを実現可能であることを示しています。
投稿履歴
送信元：Jingdi Lei [メールを読む]
[v1] 2026 年 5 月 12 日（火）16:31:44 UTC（ファイルサイズ：609 KB）