
2026/11/15 21:14
現代のLLMにおける埋め込みベクトルの位置情報の理解
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
本文は、大規模言語モデル(LLM)がトークンの位置情報を符号化する手法における大きな変化について概説しており、複雑な回転方式から単純な部分的な方法へと移行する流れを扱っています。絶対的な位置符号化(例:GPT-2 の学習されたベクトルとその 1,024 トークンの制限)、相対的アプローチ(RoPE(クエリ/キーベクトルの回転)、Partial RoPE(予計算された BF16 での cos/sin テーブルの約 0.134 GB を節約するために特徴量のサブセットのみを回転する)、NoPE(因果マスキングによる暗黙的な位置指定)、Inkling などの学習されたバイアス方式)を含みます。図 1 では、著者の LLM ギャラリーから 2026 年のオープンウェイトモデルにおける位置符号化の選択肢が事前に紹介され、図 35 では、RoPE がすべてのソフトマックス層で採用されていたのが 2025 年に最も一般的でしたが、2026 年にかけて若干の使用率低下が見られた一方で、Partial RoPE がその年の RoPE モデルの大部分を占めるようになったことを示しています。代表的な例として、MiniMax-M3(注意機構ブロック内での RoPE の追加)、SmolLM3(RoPE を 3 つの変換器ブロックで使用し、4 つ目のブロックではスキップすることで長文コンテキストの性能を向上させている)、Inkling(T5 に着想を得た学習されたバイアス)が挙げられます。これらの進展により、メモリオーバーヘッドの削減と長いコンテキストウィンドウの同時実現が可能となり、リソース制約を管理する開発者にとって明確な利益をもたらします。読者は、基本的な LLM アーキテクチャ、クエリ/キー/ベクトルへの理解、および「大規模言語モデルの構築(ゼロから)」という必須資料への先行接触を想定しています。
本文
大規模言語モデル(LLM)の位置エンコーディング:原理・実装・進化
本ドキュメントでは、LLM がトークン位置情報をどのようにエンコードし処理するかを詳述します。古典的手法から現代技術(RoPE など)への進化について、視覚的な例示、数学的導出、および PyTorch 実装を用いて解説します。さらに、現代的なアーキテクチャが明示的位置エンコーディングに適応する点、あるいはそれを省略する点を探求します。
1. はじめにと背景
本稿の目的は、LLM の位置エンコーディング機構を徹底した理解を得ることです。動作メカニズム、可視化されたケーススタディ、基礎となる数学的導出、および簡易的な PyTorch 実装を通じて解説します。
なぜ位置エンコーディングの詳細な解説が必要か?
- アーキテクチャ進化の必要性:LLM の継続的進化に伴い、最新のアーキテクチャ動向を追う上で、以前から専門的に扱われてこなかった「位置情報の手法」を独立した基礎モジュールとして先行して公開する必要性を感じました。
- 読者からのフィードバック:多くの読者が、絶対埋め込みの後継となる相対位置エンコーディング(特に RoPE)への学習要望を持っていました。
前提知識と読み方の推奨
- 対象読者:基礎的な LLM アーキテクチャについて理解がある方です。「From Scratch」シリーズの続編として最適です。アテンション機構内部(Q, K, V ベクトル)の概念が不明瞭な場合は、事前復習をお勧めします。
- 技術的深度:非常に詳細で技術的な内容です。初学者には難解に感じる可能性がありますが、今後のアーキテクチャ分析に必要な基礎となります。
- 閲覧方法:メールクライアントではなく、ウェブブラウザでの閲覧(ナビゲーション機能の利活用のため)を強くお勧めします。
2. アーキテクチャ全体概観
LLM の入力処理フローにおける位置情報の注入タイミングを確認します。
- トークナイザー (Tokenizer):入力テキストをトークン ID にエンコードします。
- トークン埋め込み層 (Token Embedding Layer):各トークン ID を数値ベクトルにマッピングします。
- 位置情報の注入:ベクトルが最初の Transformer ブロックに入る前、または内部で位置情報を追加します。
- Transformer ブロック:アテンション機構とフィードフォワードネットワークを通じてベクトルを変化させます。
- 出力層 (Output Layer):次のトークンの対数オッズ(Logits)を生成し、確率に変換します。
アーキテクチャ比較 (GPT-2 vs. MiniMax-M3)
| アーキテクチャ | 位置情報処理方法 |
|---|---|
| GPT-2 (古典的) | 埋め込み層の出力に直接追加。位置ベクトルは最初の Transformer ブロックの入力前に入力されます。 |
| MiniMax-M3 (現代的) | 明示的な位置ベクトルを追加せず、各 Transformer ブロック内のアテンション機構内でRoPEを用いて注入します。 |
位置情報の必要性
順序を変えると意味が異なります(例:「赤い狐」vs「灰色の狐」)。
- 問題点:位置エンコーディングがない場合、トークン ID と自己アテンション機構(カウザルマスク含む)だけでは、同じ語句が異なる位置にある場合の文脈的な差異を区別できません。
- 因果マスクの限界:因果マスクは「どのトークンにアクセスできるか」を決定しますが、「1 つの位置の差」と「10 の位置の差」のような相対距離を直接表現することはできません。
- 結論:明示的な位置エンコーディングが必要不可欠です。
3. 明示的エンコード手法
3.1 絶対位置エンコーディング (Absolute Positional Encoding)
配列内の各位置に対して独立したベクトルを学習させ、トークン埋め込みに加算します。
例:GPT-2(学習済み検索表)
- 実装詳細:位置ベクトルを含む検索表 (Lookup Table) を訓練します。
- GPT-2 は最大 1,024 エントリの表を使用し、コンテキストウィンドウも 1,024 トークンに限られます。
- コンテキストを大幅に拡張する(例:10 万トークン)と、位置エンベッディング層の重みの割合が 0.3% から 22% を超えるまで急激に増加し、計算コストが高額になります。
- 数学的表現:
$$h_m = E(x_m) + P_m$$
- $E(x_m)$:トークン ID に対応する埋め込みベクトル。
- $P_m$:位置 $m$ に対応する絶対位置ベクトル。
- 次元は一致し、要素ごとの加法を行います。
例:元のアテンション機構(正弦波エンコーディング)
- 実装詳細:2017 年の手法で、学習せずに訓練外のパターンにも汎用可能な正弦・余弦関数を用います。
- 公式:
$$P_{m, i} = \sin\left( \frac{m}{10000^{2i/d_{model}}} \right)$$
- 偶数インデックス:正弦
- 奇数インデックス:余弦
- スケール因子 $\sqrt{d_{model}}$ は数值規模の均衡化のために導入。
- 原理(シフト不変性):正弦および余弦関数はシフト不変性を持っています。配列全体をシフトしても相対的な位置関係(回転角度)は変化せず、モデルが「最初の 3 トークン」などの相対関係を学習できます。
3.2 相対位置エンコーディング:RoPE (Rotary Positional Embedding)
Su らによる 2021 年の RoFormer 論文で提案され、現在 LLaMA や Qwen など多くの現代 LLM で主流です。
主要なメカニズム
- 回転操作:埋め込みベクトルに直接値を加算せず、アテンション計算前に Q (クエリ) と K (キー) ベクトルに対して位置に応じた回転操作を適用します(V は回転されません)。
- アテンションスコアへの影響:
- スコアは $Q$ と $K$ のドット積に依存。これはベクトルの長さだけでなく、両者の角度差にも依存します。
- 位置 $m$ のクエリと位置 $n$ のキーの場合、相対位置の差は $(m-n)$ に比例する角度差になります。
- シフト不変性の証明:シーケンスにプレフィックスを追加してシフトした場合、Q と K の回転角度は同様に増加するため、その間の角度差は不変になります。したがって、スコアも変化しません。これにより位置シフト問題を完全解決します。
技術的な実装詳細
- 特徴量のペアリング (Feature Pairing):
- Split-half(半分割法):Qwen3 で採用。ヘッドの特徴量を前後に分割してペアを形成。
- Interleaved(交差法):LLaMA で採用。隣接する特徴量を選んでペアを形成。
- 両者は数学的に同等であり、保存順序の差異のみです。
- 周波数の計算:
- パーの特徴量組 $(a_i, b_i)$ の回転角度は $\text{angle}_i = m \cdot \theta_i$ で決定。
- 周波数式:$\theta_i = \frac{1}{b^{2i/d}}$(通常 $b=10000$)。
- PyTorch 実装ロジック:
:Cosine および Sine の検索表を生成(Shape:rope_params
)。[max_context, d/2]
:ブロードキャストメカニズムを利用して、三角関数表を Q/K と掛け合わせ、回転を実行します。apply_rope
4. RoPE のバリエーションおよび代替案
4.1 Partial RoPE(部分 RoPE)
- 定義:Q/K ベクトルのサブセット次元に対してのみ回転を適用します(例:MiniMax-M3 は 128 次元のヘッドのうち 64 次元のみ)。
- 動機:メモリ使用量の削減。事前計算された Cos/Sin テーブルのサイズが半減するため、KV Cache のメモリ消費量が低下します。
- 効果:実験により、全量 RoPE に近いパフォーマンスを発揮する必要があるのは約 10% の特徴量の回転だけで十分ですが、特定のベンチマークでは全量 RoPE の方が優れています。
4.2 NoPE(No Explicit Positional Encoding)
- 概念:明示的な位置エンコーディングを省略。追加も回転もなし。
- 原理:因果マスク (Causal Mask) に依存します。
- モデルは、現在のトークンおよびそれ以前のトークンのみアクセス可能という制約を通じて、暗黙的に位置を感じ取ります。
- 例:一様な注意力分布の下で、プレフィックスの増加に伴い初期トークンの重みは希薄化され、長さをエンコードします。
- 現状:一部のモデル(例:SmolLM3)では特定の層で NoPE を混合して使用しています。RoPE よりも長文脈での汎化性に優れるケースもありますが、複雑なタスクや非常に長いコンテキストでは劣る可能性があります。
4.3 Learned Relative Position Bias(学習される相対位置バイアス)
- 代表モデル:Inkling, T5 など。
- メカニズム:アテンションスコアの計算後、Softmax の前において、相対位置と隠れ状態に基づいて学習されたバイアス項を追加します。 $$ \text{Score} = \frac{QK^T}{\sqrt{d}} + \text{Bias}(pos_{rel}, h) $$
5. 現代的なアーキテクチャのトレンド分析 (2026 年スナップショット)
LLM Architecture Gallery のデータ統計に基づき、位置エンコーディング手法の採用傾向は以下の通りです。
- RoPE が依然として支配的:
- アテンション層全体において RoPE を使用する仍然是主流ですが、2026 年後半にはわずかな減少が見られます。
- ハイブリッドアーキテクチャの台頭:
- より多くのモデルが、一部の層で RoPE を使用しながら、他の層(特に深い層や特定のタイプ)では NoPE に切り替えることで、パフォーマンスと効率性のバランスを図る傾向が強まっています。
- Partial RoPE の普及:
- RoPE を採用するモデルにおいて、Partial RoPE はマイノリティからマジョリティへと移行しています。
- 新興アーキテクチャ:
- Inkling:学習されるバイアス機構を導入。
- xLSTM:Softmax アテンションを使用しないため、従来の位置エンコーディングを必要とせず(カテゴリーは「その他」に分類)。
まとめ
RoPE が中核を依然として担っている一方で、「不純な」ハイブリッド戦略(RoPE + NoPE)や、Inkling 式のバイアス案など、新しい探索方向へと進化する兆候が見られます。今後数年間、これらの手法はさらに進化していくことが予想されます。
6. 関連リソース
より深い理解のために以下のリソースを参照してください。
- 基礎アーキテクチャ:『From Scratch(ゼロから構築)』—— GPT-2 スタイルのモデルから着手し、下層ブロック構造を習得することをお勧めします。
- 核心概念の復習:
- 高度な実装:『From Scratch Qwen3 実装』——上記の技術スタックを統合する方法を示します。
謝辞 本作品を読み、私の活動に支えて下さる皆様へ感謝申し上げます!記事の内容に関心をお持ちか、さらに深い議論に参加をご希望の場合は、コメント欄でご記入ください。
注:本稿の一部の図表およびギャラリーデータは、作者個人の LLM Architecture Gallery およびその Substack プラットフォーム機能テストから引用されました。