現代のLLMにおける埋め込みベクトルの位置情報の理解

2026/11/15 21:14

現代のLLMにおける埋め込みベクトルの位置情報の理解

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

本文は、大規模言語モデル(LLM)がトークンの位置情報を符号化する手法における大きな変化について概説しており、複雑な回転方式から単純な部分的な方法へと移行する流れを扱っています。絶対的な位置符号化(例:GPT-2 の学習されたベクトルとその 1,024 トークンの制限)、相対的アプローチ(RoPE(クエリ/キーベクトルの回転)、Partial RoPE(予計算された BF16 での cos/sin テーブルの約 0.134 GB を節約するために特徴量のサブセットのみを回転する)、NoPE(因果マスキングによる暗黙的な位置指定)、Inkling などの学習されたバイアス方式)を含みます。図 1 では、著者の LLM ギャラリーから 2026 年のオープンウェイトモデルにおける位置符号化の選択肢が事前に紹介され、図 35 では、RoPE がすべてのソフトマックス層で採用されていたのが 2025 年に最も一般的でしたが、2026 年にかけて若干の使用率低下が見られた一方で、Partial RoPE がその年の RoPE モデルの大部分を占めるようになったことを示しています。代表的な例として、MiniMax-M3(注意機構ブロック内での RoPE の追加)、SmolLM3(RoPE を 3 つの変換器ブロックで使用し、4 つ目のブロックではスキップすることで長文コンテキストの性能を向上させている)、Inkling(T5 に着想を得た学習されたバイアス)が挙げられます。これらの進展により、メモリオーバーヘッドの削減と長いコンテキストウィンドウの同時実現が可能となり、リソース制約を管理する開発者にとって明確な利益をもたらします。読者は、基本的な LLM アーキテクチャ、クエリ/キー/ベクトルへの理解、および「大規模言語モデルの構築(ゼロから)」という必須資料への先行接触を想定しています。

本文

大規模言語モデル(LLM)の位置エンコーディング:原理・実装・進化

本ドキュメントでは、LLM がトークン位置情報をどのようにエンコードし処理するかを詳述します。古典的手法から現代技術(RoPE など)への進化について、視覚的な例示、数学的導出、および PyTorch 実装を用いて解説します。さらに、現代的なアーキテクチャが明示的位置エンコーディングに適応する点、あるいはそれを省略する点を探求します。


1. はじめにと背景

本稿の目的は、LLM の位置エンコーディング機構を徹底した理解を得ることです。動作メカニズム、可視化されたケーススタディ、基礎となる数学的導出、および簡易的な PyTorch 実装を通じて解説します。

なぜ位置エンコーディングの詳細な解説が必要か?

  • アーキテクチャ進化の必要性:LLM の継続的進化に伴い、最新のアーキテクチャ動向を追う上で、以前から専門的に扱われてこなかった「位置情報の手法」を独立した基礎モジュールとして先行して公開する必要性を感じました。
  • 読者からのフィードバック:多くの読者が、絶対埋め込みの後継となる相対位置エンコーディング(特に RoPE)への学習要望を持っていました。

前提知識と読み方の推奨

  • 対象読者:基礎的な LLM アーキテクチャについて理解がある方です。「From Scratch」シリーズの続編として最適です。アテンション機構内部(Q, K, V ベクトル)の概念が不明瞭な場合は、事前復習をお勧めします。
  • 技術的深度:非常に詳細で技術的な内容です。初学者には難解に感じる可能性がありますが、今後のアーキテクチャ分析に必要な基礎となります。
  • 閲覧方法:メールクライアントではなく、ウェブブラウザでの閲覧(ナビゲーション機能の利活用のため)を強くお勧めします。

2. アーキテクチャ全体概観

LLM の入力処理フローにおける位置情報の注入タイミングを確認します。

  1. トークナイザー (Tokenizer):入力テキストをトークン ID にエンコードします。
  2. トークン埋め込み層 (Token Embedding Layer):各トークン ID を数値ベクトルにマッピングします。
  3. 位置情報の注入:ベクトルが最初の Transformer ブロックに入る前、または内部で位置情報を追加します。
  4. Transformer ブロック:アテンション機構とフィードフォワードネットワークを通じてベクトルを変化させます。
  5. 出力層 (Output Layer):次のトークンの対数オッズ(Logits)を生成し、確率に変換します。

アーキテクチャ比較 (GPT-2 vs. MiniMax-M3)

アーキテクチャ位置情報処理方法
GPT-2 (古典的)埋め込み層の出力に直接追加。位置ベクトルは最初の Transformer ブロックの入力前に入力されます。
MiniMax-M3 (現代的)明示的な位置ベクトルを追加せず、各 Transformer ブロック内のアテンション機構内でRoPEを用いて注入します。

位置情報の必要性

順序を変えると意味が異なります(例:「赤い狐」vs「灰色の狐」)。

  • 問題点:位置エンコーディングがない場合、トークン ID と自己アテンション機構(カウザルマスク含む)だけでは、同じ語句が異なる位置にある場合の文脈的な差異を区別できません。
  • 因果マスクの限界:因果マスクは「どのトークンにアクセスできるか」を決定しますが、「1 つの位置の差」と「10 の位置の差」のような相対距離を直接表現することはできません。
  • 結論:明示的な位置エンコーディングが必要不可欠です。

3. 明示的エンコード手法

3.1 絶対位置エンコーディング (Absolute Positional Encoding)

配列内の各位置に対して独立したベクトルを学習させ、トークン埋め込みに加算します。

例:GPT-2(学習済み検索表)

  • 実装詳細:位置ベクトルを含む検索表 (Lookup Table) を訓練します。
    • GPT-2 は最大 1,024 エントリの表を使用し、コンテキストウィンドウも 1,024 トークンに限られます。
    • コンテキストを大幅に拡張する(例:10 万トークン)と、位置エンベッディング層の重みの割合が 0.3% から 22% を超えるまで急激に増加し、計算コストが高額になります。
  • 数学的表現: $$h_m = E(x_m) + P_m$$
    • $E(x_m)$:トークン ID に対応する埋め込みベクトル。
    • $P_m$:位置 $m$ に対応する絶対位置ベクトル。
    • 次元は一致し、要素ごとの加法を行います。

例:元のアテンション機構(正弦波エンコーディング)

  • 実装詳細:2017 年の手法で、学習せずに訓練外のパターンにも汎用可能な正弦・余弦関数を用います。
  • 公式: $$P_{m, i} = \sin\left( \frac{m}{10000^{2i/d_{model}}} \right)$$
    • 偶数インデックス:正弦
    • 奇数インデックス:余弦
    • スケール因子 $\sqrt{d_{model}}$ は数值規模の均衡化のために導入。
  • 原理(シフト不変性):正弦および余弦関数はシフト不変性を持っています。配列全体をシフトしても相対的な位置関係(回転角度)は変化せず、モデルが「最初の 3 トークン」などの相対関係を学習できます。

3.2 相対位置エンコーディング:RoPE (Rotary Positional Embedding)

Su らによる 2021 年の RoFormer 論文で提案され、現在 LLaMA や Qwen など多くの現代 LLM で主流です。

主要なメカニズム

  • 回転操作:埋め込みベクトルに直接値を加算せず、アテンション計算前に Q (クエリ) と K (キー) ベクトルに対して位置に応じた回転操作を適用します(V は回転されません)。
  • アテンションスコアへの影響:
    • スコアは $Q$ と $K$ のドット積に依存。これはベクトルの長さだけでなく、両者の角度差にも依存します。
    • 位置 $m$ のクエリと位置 $n$ のキーの場合、相対位置の差は $(m-n)$ に比例する角度差になります。
    • シフト不変性の証明:シーケンスにプレフィックスを追加してシフトした場合、Q と K の回転角度は同様に増加するため、その間の角度差は不変になります。したがって、スコアも変化しません。これにより位置シフト問題を完全解決します。

技術的な実装詳細

  1. 特徴量のペアリング (Feature Pairing):
    • Split-half(半分割法):Qwen3 で採用。ヘッドの特徴量を前後に分割してペアを形成。
    • Interleaved(交差法):LLaMA で採用。隣接する特徴量を選んでペアを形成。
    • 両者は数学的に同等であり、保存順序の差異のみです。
  2. 周波数の計算:
    • パーの特徴量組 $(a_i, b_i)$ の回転角度は $\text{angle}_i = m \cdot \theta_i$ で決定。
    • 周波数式:$\theta_i = \frac{1}{b^{2i/d}}$(通常 $b=10000$)。
  3. PyTorch 実装ロジック:
    • rope_params
      :Cosine および Sine の検索表を生成(Shape:
      [max_context, d/2]
      )。
    • apply_rope
      :ブロードキャストメカニズムを利用して、三角関数表を Q/K と掛け合わせ、回転を実行します。

4. RoPE のバリエーションおよび代替案

4.1 Partial RoPE(部分 RoPE)

  • 定義:Q/K ベクトルのサブセット次元に対してのみ回転を適用します(例:MiniMax-M3 は 128 次元のヘッドのうち 64 次元のみ)。
  • 動機:メモリ使用量の削減。事前計算された Cos/Sin テーブルのサイズが半減するため、KV Cache のメモリ消費量が低下します。
  • 効果:実験により、全量 RoPE に近いパフォーマンスを発揮する必要があるのは約 10% の特徴量の回転だけで十分ですが、特定のベンチマークでは全量 RoPE の方が優れています。

4.2 NoPE(No Explicit Positional Encoding)

  • 概念:明示的な位置エンコーディングを省略。追加も回転もなし。
  • 原理:因果マスク (Causal Mask) に依存します。
    • モデルは、現在のトークンおよびそれ以前のトークンのみアクセス可能という制約を通じて、暗黙的に位置を感じ取ります。
    • 例:一様な注意力分布の下で、プレフィックスの増加に伴い初期トークンの重みは希薄化され、長さをエンコードします。
  • 現状:一部のモデル(例:SmolLM3)では特定の層で NoPE を混合して使用しています。RoPE よりも長文脈での汎化性に優れるケースもありますが、複雑なタスクや非常に長いコンテキストでは劣る可能性があります。

4.3 Learned Relative Position Bias(学習される相対位置バイアス)

  • 代表モデル:Inkling, T5 など。
  • メカニズム:アテンションスコアの計算後、Softmax の前において、相対位置と隠れ状態に基づいて学習されたバイアス項を追加します。 $$ \text{Score} = \frac{QK^T}{\sqrt{d}} + \text{Bias}(pos_{rel}, h) $$

5. 現代的なアーキテクチャのトレンド分析 (2026 年スナップショット)

LLM Architecture Gallery のデータ統計に基づき、位置エンコーディング手法の採用傾向は以下の通りです。

  1. RoPE が依然として支配的:
    • アテンション層全体において RoPE を使用する仍然是主流ですが、2026 年後半にはわずかな減少が見られます。
  2. ハイブリッドアーキテクチャの台頭:
    • より多くのモデルが、一部の層で RoPE を使用しながら、他の層(特に深い層や特定のタイプ)では NoPE に切り替えることで、パフォーマンスと効率性のバランスを図る傾向が強まっています。
  3. Partial RoPE の普及:
    • RoPE を採用するモデルにおいて、Partial RoPE はマイノリティからマジョリティへと移行しています。
  4. 新興アーキテクチャ:
    • Inkling:学習されるバイアス機構を導入。
    • xLSTM:Softmax アテンションを使用しないため、従来の位置エンコーディングを必要とせず(カテゴリーは「その他」に分類)。

まとめ

RoPE が中核を依然として担っている一方で、「不純な」ハイブリッド戦略(RoPE + NoPE)や、Inkling 式のバイアス案など、新しい探索方向へと進化する兆候が見られます。今後数年間、これらの手法はさらに進化していくことが予想されます。


6. 関連リソース

より深い理解のために以下のリソースを参照してください。


謝辞 本作品を読み、私の活動に支えて下さる皆様へ感謝申し上げます!記事の内容に関心をお持ちか、さらに深い議論に参加をご希望の場合は、コメント欄でご記入ください。

注:本稿の一部の図表およびギャラリーデータは、作者個人の LLM Architecture Gallery およびその Substack プラットフォーム機能テストから引用されました。

同じ日のほかのニュース

一覧に戻る →

2026/11/16 6:10

エージェントがハッキング可能なものを選択します

## Japanese Translation: M-VAVE FM-1 の事例は、AI コーディングツールがハードウェア制御を民主化し、専用ファームウェアに代わる独自オープンソース版を数ヶ月ではなく数日で導入できるようにしたことを示しています。わずか 1 ヶ月間(9 月から 10 月)のうちに、動機づけられたユーザーは AI ツールを使って未文書化の JieLi プロセッサをリバースエンジニアリングし、この約 70 ドルのお手軽 FM シンセサイザー(仮想アナログシンセ、マルチトラックグルーブボック、ダークアンビエントサンプラー、Doom ゲームポート)に対する 4 つの異なるファームウェア変種を開発しました。この傾向は、Pebble スマートウォッチ、Core Devices の製品、Google TV ランチャー、Ubiquiti ネットワークコントローラー、Anbernic ハンドヘルド端末などのデバイスにおいて、所有者がファームウェアを掌握した以前の事例に続くものです。コミュニティの努力によって開発が加速された後、M-Vave は 10 月に GPLv3 のもとで元のファームウェアを公開し、テストとフラッシングを簡素化するための開発キットおよびブラウザエミュレータも同時にリリースしました。この変化は今や拡大しています:一部の企業(例:Bambu Lab)は厳格なセキュリティ、サーバー認証、本人確認(9 月 30 日以来 4 ヵ国で導入され、2027 年までに全世界への展開が計画されている Google のルール)を維持する一方、他の企業(Behringer、Akai、Erica Synths)はファームウェアの開放を急速に進めています。この進化を可能にするハードウェア制約には、書き込み可能なフラッシュ、ロックされていないブートローダー、アクセス可能なリカバリーモード(例:M-VAVE の 10 秒間での標準復帰)、USB またはブラウザツールによるエージェントへのアクセスがあります。消費者の行動も、ブランド忠誠心よりもアップグレード性と AI 駆動による修理可能性を重視する方向にシフトしています。今後、インストールは人間主導から自律的な AI エージェントへと移行し、自動的にファームウェアフォークまたは修正コードを記述することが進む可能性があります。企業は、制限的な手段を通じて制御を維持するか、ソフトウェアロックインや悪意のあるコード注入などのリスクを管理しながら開放性を歓迎するかの選択を迫られています。

2026/11/16 4:26

Protomaps:自我ホスティングの地図タイルは低コストで簡単になりました

## Japanese Translation: 本テキストは、Mapbox などの高価な商用 API を迂回し、オープンソースツールと自己ホスト型ソリューションを用いて世界地図を展開するための極めて効果的で低コストの戦略を紹介しています。核心的な革新は、Protomaps と PMTiles(単一のポータブルファイル形式)を組み合わせて、欧州に拠点をおく低コストの CDN の Bunny.net を介して地図タイルを効率的に配信することにあります。この構成により高額なデータ転送料が排除され、例えば有料サービスと比較して最大 100 倍のコスト削減が可能となり、ユーザーの費用負担を約 99% も軽減できる可能性があります。この手法は元々、スイス・チューリッヒ工科大学(ETH Zurich)の学生である Bruce が、無料枠の期限切れ後に発生する$5 の支払いを回避するために開発されたものであり、完全な世界地図のストレージコストが月間約$5 で抑えられる堅牢な代替手段を提供します。特に、個人データを収集しないプライバシー準拠の地図を開発者に必要とする場合に価値が高く、Bunny.net デフォルト設定およびEU 本社所在地によって裏付けられます。 今後のステップとしては、S3 互換性を有効化した **rclone** などの特定のツールを用いて、139GB の世界地図データを Bunny.net ゾーンにアップロードすることを含みます。適切な構成が不可欠です:ストレージゾーンは長時間のアップロードに対応するエンドポイントを使用する必要があります(接続が悪い場合は tmux または一時的な VPS を介して)、プルゾーンには CORS 制限が必要で、「大規模オブジェクト配信のための最適化」を有効にし、ダウンロード速度を 10MB 以降に 10kB/s に制限します。利用においては、最新の日次ビルドを直接ダウンロードするか、CLI を用いて特定のバウンディングボックスに対してデータサブセットを抽出できます。埋め込みには、PMTiles npm パッケージをインストールし、MapLibre GL を公式ガイドに従って構成する必要があります。標準的な HTTP レンジリクエストを活用することで、誰でも高品質なグローバルマッピングにアクセス可能となり、高価なサードパーティプロバイダーに依存する必要がなくなります。これにより、高度な地理空間可視化が誰もが利用可能で手頃な価格になるようになっています。

2026/11/16 2:53

「鳥の脳」という名称は誤り。カラスは人間よりも速く意思決定を行う

## Japanese Translation: 2026 年 11 月、学術誌『Science』に掲載された研究では、腐食カラスが視覚的な手がかりを処理し反応する速度が、人間や猿のそれのおよそ 2 倍であることが示されました。この実験では、2 匹の名前を「レミー」と「イギー」と呼ぶカラスが、画面に表示された白い点が同時に左か右へ動くかを判断した後、対応するターゲット円のボタンを啄んだという結果が出ました。画像クレジットはアンドレアス・ニードー氏に帰属しており、本研究は鳥類の意思決定に関する神経速度に対する最初の直接的な定量化を提供しました。ニュージーランドのオタゴ大学の神経科学者であり比較心理学者であるマイク・コロンボ氏は、鳥類が人間と猿よりも速く意思決定を行うと述べています。 これらの発見は、カラスやコウモリ(注:原文 "ravens" は「秃鷲」または「コブクロ」とも訳せますが、文脈から「ハゲワシ」ではなく「ツバメ」系の誤記の可能性もありますが、ここでは直訳として「ハゲワシ」、"rooks" は「アオバムクドリ」、"scrub jays" は「シロハラカラス」と解釈)、つまりカラス、ツバメ、アオバムクドリ、およびシロハラカラスを含むコルビダ科の鳥類が、道具を使う他者の心を理解し自己を認識し抽象的な問題を解決し将来を計画し物体を数えることができるという数十年にわたる証拠の上に立っています。また近年の研究では、鳩が癌細胞と非癌細胞、数値、言葉と無意味な文字を区別できることも示されています。歴史的背景として、19 世紀および 20 世紀の学者たちは鳥の頭脳の小ささから鳥の知性を否定してきましたが、コロンボ博士によると、科学共同体が鳥類の脳構造の複雑さを完全に認識するまでに約 20 年かかったとされます。 これらの結果は、人類の認知優位性に関する長年の仮説に挑戦し、「バードブレイン」を卑猥な用語として使うことへの終焉をもたらす可能性があります。本研究は鳥類が高度な知性を備えた洗練された動物であることを裏付け、我々が「賢い」という意味を考えることを大きく再評価することを促しています。アクセス確認通知によれば、本記事の全文は『ザ・タイムズ』への有料登録またはログインが必要です。