モダンな大規模言語モデルと「睡眠」フレームワーク

序論：連続的学習への新たなアプローチ

現代の大規模言語モデル（LLM）は、驚異的な性能を発揮しますが、デプロイ後は固定された知識のカットオフ日を持っており、新しい情報に適応したり長期的な能力を獲得したりすることが困難です。

• パラメータ更新の問題：継続的な学習による新データ学習は、「壊滅的な忘却（catastrophic forgetting）」を誘発し、新規タスクの学習により前習得性能が低下する。
• ICL の限界：文脈内学習（ICL）への依存では、知識保持範囲が直近のコンテキストウィンドウに限られ、セッション終了後に情報が失われる。

本研究は、人間の脳が休息中に記憶を処理・安定化する仕組みに触発され、**「睡眠フレームワーク」**を提案します。

• 主要機能：周期的なライフサイクルを導入し、不安定な短期的コンテキストを**安定した長期的パラメータへ統合（consolidate）**する。
• 実証結果：能動的対話とオフライン記憶統合の交互運用により、新たな事実獲得、1000 万トークン規模の長文脈知識保持、複雑な推論能力向上を実現した。

---

機械学習の再考：「覚醒」と「睡眠」の二重サイクル

従来の「トレーニング/推論」の厳格な区別を打破し、インテリジェントなエージェントは絶えず学習・適応する必要があります。LLM は主に以下の 2 つの状態（パラダイム）で動作します。

1. 能動的（覚醒）段階

• モデルが能動的に入力を受容・処理し、対話を行う。
• 一時的な情報を高速で短期記憶の構成要素に格納する。

2. 睡眠段階

• 新しい入力の処理を一時停止する。
• 内部計算リソースを記憶の統合と自己改良へ向け直る。
• 特徴：固定されたモデルアーキテクチャ内で動作し、人間定義のトレーニングルールに従う。
• プロセス：オフラインにて Mixture-of-Experts（MoE）メモリブロックを解放し、自己生成した練習例で数値的な重みを更新する自動化サイクルにより、デプロイ済みモデルがコアコード変更なしに新事実を吸収・推論精度を向上させる。

---

睡眠プロセスの主要コンポーネント

「睡眠」パラダイムは、以下の 2 つの段階を通じて忘却問題と継続的適応を解決します。

1. 記憶の統合（Consolidation）

人間の脳における非レム（NREM）徐波睡眠を再現し、不安定な記憶を長期構造に統合します。

• パラメータ拡張および連続体メモリ階層
  • 壊滅的な忘却を防ぐため、睡眠中に動的に容量を拡張。
  • MoE と Hope アーキテクチャにより、新規解放された低ランクエキスパートが古いパラメータを乱さず、流入知識を安定した低周波数メモリブロックに格納する。
• 知識の種付け（上方蒸留）
  • 高周波数層（短期記憶）の不安定な情報を、新規拡張された長期的パラメータへ転送。
  • **強化学習（RL）に基づく一般化知識蒸留（GKD）**を実施：
    • オンポリシー蒸留：拡大した学生モデルが、教師モデルの自己サンプリング分布からのトークン固有フィードバックを学習する。
    • 学習による模倣（Learning to Imitate: LTI）：学生モデルが教師モデル生成テキストのプレフィックスを完了する際、意味的・絶対的な類似度（リーベンシャイン距離）で報酬を得る。
• シナプス剪定
  • 低周波数モジュールへの統合完了後、高周波数の一時的パラメータをリセットし、将来の能動セッション用の容量を確保。

2. 自己改良のための夢を見る（Dreaming）

レム睡眠中に脳がシミュレーションや経路探求を行うように、自律的な自己改良ループを実装します。

• ランダムなエキスパート選択
  • MoE ルーティングで非標準的なエキスパートをランダムに活性化。
  • 異なる知識ドメインの混合と潜在パターンの発見を強制する。
• キュレーションされたリハーサル
  • 合成トレーニングサンプル（「夢」）を生成し、勾配に基づくデータ選択でフィルタリング。
  • モデル能力向上ポテンシャルの高いサンプルを優先。
• RL の微調整
  • 上位評価された夢サンプルにおいて監督的ファインチューニングを実施。
  • 生成が下流タスクの性能改善に寄与するかを評価。

---

理論的基礎

「記憶の統合」と「夢を見る」が、知識と能力のトレードオフなしに連続的学習を支える理由は以下の理論によって説明されます。

記憶の統合分析

• 知識の種付けは、構造化された低ランク圧縮問題として理解できる。
• モデルは短期トレースの詳細を全てコピーせず、報酬される意味的品質を最適に保持するコンパクトな方向性の集合を特定する。
• 2 つの信号の補完的な役割：
  • オンポリシー蒸留：推論時軌道と整合させ、教師モデル生成分布でのみ生じるミスマッチを削減。
  • 意味的報酬：単なるトークン確率合わせではなく、意味やタスク関連行動を保つ方向性を優先し、保持に値するものを変化させる。
• パラメータ拡張：選択された記憶の書き込みに必要な容量を提供し、既存知識の上書きを防ぐ。

夢を見る分析

• ランダムなエキスパート活性化と報酬ベースのサンプル選択は、学習の幾何学を改善するメカニズム。
• 異なる MoE の注入は、合成生成中の勾配方向探索領域を広げ、アウェイク時間単独のデータによる更新よりも豊かな集合を更新に曝す。
• 勾配に基づくフィルタリング：最も有用な学習信号を含む合成体験を強調し、情報的な方向性を強化しつつ基礎勾配空間構造を維持。
• これにより、よりバランスの取れた最適化ランドスケープが生まれ、少数の方向性による支配が少なくなり、より安定した進歩が可能になる。

---

実証的結果

継続的翻訳

• 対象：見かけない言語（例：満州語、カラマンギ語）。
• 成果：睡眠フレームワークでは多段階評価でほぼゼロの性能低下を維持。
• 対照実験：ICL や Cartridges、SFT などの基準線では深刻な「壊滅的な忘却」が発生。

長文脈理解

• ベンチマーク：BABILong。
• 成果：GPT-4 や Titans を上回る性能を発揮。
• メカニズム：睡眠時間での統合により、長文脈情報を直接パラメトリックメモリに圧縮し、1000 万トークン規模で近乎完美的なスケーリングを実現。

事実知識の取り込み（SQuAD / CPT）

• 単一タスク評価スコア：48.9%
• 継続的事前学習（CPT）評価スコア：46.2%
• 結論：既存モデル表現を劣化させずに新事実情報を統合することに成功。ベースライン手法（Base Model, SFT, SEAL など）よりも優位性がある。

数学的推論

• ベンチマーク成績：
  • AIME 24/25：79.2%
  • HMMT 25：69.0%
  • その他：46.1%
• 比較：SFT、GRPO、OPSD などを超えるスコア。
• 結論：記憶の統合と模倣学習の組み合わせが優れる推論性能をもたらすことが証明された。

---

結論

本研究所の睡眠パラダイムは、自律的に絶えず学習する AI システムへの道筋を提供します。

• 静的な事前学習や不安定なコンテキストウィンドウの超越。
• 能動的な学習とオフラインの休息を交互に行うことで：
  • 短期記憶の保持。
  • 新しいスキルの長期的パラメータ構造への抽象化。
  • 「壊滅的な忘却」なしの絶えず自己改良する能力の獲得。

---

謝辞

本研究は以下の共同研究者によるものです：

• Ali Behrouz（Google および Cornell University）
• Farnoosh Hashemi（Cornell University）
• Adel Javanmard（Google および USC）
• Vahab Mirrokni

また、以下の氏へ深い謝意を表します：

• レビューおよび有益な助言：Yuan Deng、Corinna Cortes 氏。
• ブログ記事作成における支援：Mark Simborg、Kimberly Schwede、Tim Herrmann 氏ら。