
2026/11/18 7:17
潜在格子言語モデル
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
この研究における主な画期的成果は、「Lattice of Latents」(LLLMs)の導入です。これは MIT と Adobe の研究者が発表した AI アーキテクチャであり、性能を損なわずに効率性を向上させます。従来のモデルが広いメモリ構造に依存するのに対し、LLLMs は縦方向のリジidual ストリームと並行して水平的に復帰的に走る潜変数ストリームを使用し、注意機構やデコーディングなど重要な操作を直接条件付けします。406M パラメータを持つ格子モデルは、微調整された 20B トークンのデータ上で、パラメータが一致するトランスフォーマー(15.41)に比べて大幅に低い検証時のペルプレキシティ(14.40)を実現しました。この性能は、ハイパーコネクションや入力リジidual などの機能で強化された際により一層改善され、13.61 に達しました。このアーキテクチャは大幅な効率化を可能にしており、層は 40 ではなく 22 のみを使用し、同様の注意幅において KV キャッシュを 45% 小さく保ち、限られたハードウェア向けに非常にスケーラブルです。さらに、格子モデルは Gated DeltaNet や Mamba-2 など他のアーキテクチャにおいても、より大きな純粋なベースラインに対して優れた精度を示しました。特に「hard regimes」において、縦方向のストリームを大幅に圧縮した場合(例:256 次元)でも同様です。
本文
「潜在の格子 (Lattice of Latents)」による言語モデル計算容量の拡張
本研究では、従来の言語モデルにおける「アクティブな計算状態の数」を増やすことで計算容量を拡大する新たなアプローチ**「潜在の格子 (Lattice of Latents)** を提案します。
既存手法との違い
- 従来法の限界:
- より深い層やループ構造、潜在推論ステップを増やすことでトークンあたりの計算量が増大します。
- 豊富なリザルブ連結(残差接続)は層間での情報流れの改善をもたらしますが、これは深さ方向のリザルブ経路の増設です。
- 本手法の特徴:
- リザルブストリームを強化しつつ、深さ方向に経路を増設するのではなく、トークンを越えて持続的に存続する補助的な計算状態を提供します。
- 時間軸に沿って反復的に動作する水平的な潜在ストリームと、深さ方向に流れる垂直的なリザルブストリームの両方から構成されます。
アーキテクチャ概要
「潜在の格子」は、ハイパー連結(HC)、mHC(マニフォード制約付き HC)、アテンションやバリューの残差などと同様に機能します。
- トランスフォーマーおよび SSM との違い:
- 従来の反復型状態は主にシーケンス混ざりのための内部メモリとして機能します。
- 「潜在の格子」の状態は、垂直ストリームのアテンション計算、KV キャッシュへの書き込み、MLP 計算、ならびにデコーディングプロセスを直接制御します。
主要な実験結果
- トレーニングデータ: FineWeb-Edu(200 億トークン)
- モデル規模: 4.06 億パラメータを持つ「格子モデル」
- ペルプキシティの低下:
- 同等のパラメータ数を有する標準的なトランスフォーマー(ペルプキシティ 15.41)に対して、14.40まで低下させることに成功しました。
- この性能向上は、さまざまなアーキテクチャバリエーション全体で確認されました。
アーキテクトとの相乗効果
「潜在の格子」は既存のリザルブストリーム強化手法と相乗的に作用します。
- トランスフォーマーとの組み合わせ:
- ハイパー連結および入力残差を組み合わせることで、以下のような強化が可能となりました。
- 基盤トランスフォーマー(15.41) → 13.61
- 強化されたトランスフォーマー(14.22) → 13.61
- ハイパー連結および入力残差を組み合わせることで、以下のような強化が可能となりました。
- SSM アーキテクチャとの組み合わせ:
- ゲーテッド・デルタネット(Gated DeltaNet)、Mamba-2、トライアド GDN、およびそのハイブリッドアーキテクチャにおいて、試験された全種類のネイティブ状態サイズでペルプキシティ改善が実現されました。
- **「格子付き GDN」と「格子付きトライアド GDN」**は、4 倍大きなネイティブ状態サイズを持つ純粋なベースラインモデルよりも優位性を発揮しました。
結論
層ごとの持続的な計算状態を、言語モデルの計算能力を拡張するための補完的な次元として認識することができました。
用語解説と略語
| 略語 | 正式名称 | 説明 |
|---|---|---|
| HC | ハイパー連結 | 既存の強化手法の一つ。 |
| mHC | マニフォード制約付き HC | 制約を課したハイパー連結。 |
| value | バリュー残差 | ResFormer によるアプローチ(単一+value 実行の学習重みなど)。 |
| x0 | ナノチャット様式入力残差 | 特定の入力残差方式。 |
| LLLM | Large Language LLM | 本研究で提案するモデル形式。(垂直リザルブストリーム幅)と (水平潜在ストリーム幅)を持つ。 |
| J3 | ヤコビリファイナー | トランスフォーマーを強化する手法。3 サイクルを実行し、推論時はシークエンシャルロールアウトとして単一パスで使用される。 |
注目すべき実験設定と指標
- GFLOP/token: アテンションスコア(約 0.1 GFLOP/token)と埋め込みルックアップを除いた、1 トークンあたりの浮動小数点演算数。
- 事前学習トークンのスケーリング: FineWeb-Edu を用いて 100 億→200 億→300 億トークンへトレーニングを拡大し、検証ペルプキシティの変化を観察。
- ※両方の LLLM モデルは 40 層(40L)のトランスフォーマーに対し、22 層のみを使用するため、KV キャッシュは約 45% 小さくなります。
- 潜在の格子の分解実験:
- ハードな状況下で垂直リザルブストリームを 256 次元に圧縮。
- 水平更新強化を順次追加することで、フル幅トランスフォーマーとのギャップ回復を確認。
- 反復型バックボーン:
- 純粋モデル vs. グリッド付反復モデル(約 4.05 億パラメータ)の比較。
- ミキサーごとのネイティブ状態サイズを変えて評価。
- ネイティブ状態サイズ数:
- ミキサーごとの反復メモリエントリーの数(1K=1024 スカラー)。
- 水平潜在状態および畳み込み状態を除く指標。