
2026/11/13 19:26
言語モデルの内部で展開する何千もの対話とはどのようなものか
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
著者は、Qwen3-1.7B モデルの内部動作を可視化するため、残差ストリームおよび埋め込みテーブルからの 2,048 次元のトークン状態を 3 次元にマッピングしたインタラクティブなアトラスを作成した。この可視化では、151,936 語の語彙トークンが投影され、以下の明確なパターンが明らかになった。英語コンテンツは、その投影において約 99.3% の変動を捕捉する独特で薄いシートを形成しており、一方で中国語の表現はラテン文字系の言語と隣接しているにもかかわらず、明確に分離された状態として存在した。英語、中国語、ドイツ語、クロアチア語および Python コードに関する 900 件の例項を分析した結果、欧州諸語とコーディングタスクは広範な重複領域を持つ近傍を占めているのに対し、中国語はその外側に位置しており、内部状態が同時に主題分野および言語アイデンティティを符号化していることを示唆している。さらに、主成分分析(PCA)の結果、会話固有の特徴の方がグローバルなトレンドよりも著しく情報量が高く、会話間の平均の違いを表すための 3 つの方向によって 80.1% の変動を捕捉するのに対し、グローバル軸ではわずか 42.4% に過ぎなかった。元の高次元空間における最適な適合平面は総変動の 30% 未満しか捕捉できない一方、アトラスはモデルが言語入力をどのように空間的に組織化しているかについて瞬時に洞察を提供し、未来の行動を予測することなく機能する。
本文
Qwen3-1.7B の内部表現地図:多言語対話の幾何学と剰余ストリームの可視化
あらゆる言語モデルとの対話が生成する内在状態(問いかけ、誤解、説明、未完の議論)を地図化する試みがなされました。Qwen3-1.7B モデルのベクトル空間において、類似した話題は隣接する地域へ旅立ち、異なる言語で表現された同一概念も似た場所へ至るのかという問いに対し、インタラクティブな「アトラス」を構築しました。
モデルの内部構造とデータの生成
モデルの動作原理を理解することが、地図解読の前提となります。
- トークン化: テキストは単語、部分語、句読点などのトークンに分解されます。
- 初期表現: 各トークンは、「埋め込みテーブル(学習済みの数字リスト)」から対応する行を選択して初期化されます。
- 剰余ストリーム (Residual Stream): モデルの共有ワークスペースであり、各位置で2,048 個の数値を持つベクトルを保持します。
- 各層はテキストを処理し、この空間に情報を加算・読み込み続けます。
- データセット: 数千回の対話をマップ化するため、以下のサンプルを作成しました。
- 100 のトピック(英語・中国語・ドイツ語・クロアチア語)。
- コーディング例のコレクション(Python など)。
- これらは広大な可能性空間から抽出された、あえて構成した小規模なサンプルです。
埋め込みテーブル内部への一瞥
対話を検討する前に、モデルが持ち出す初期ベクトルを確認しました。
- 橙色の点: 正規化された入力埋め込み(語彙トークン)を表します(151,936 の語彙)。
- 幾何学的構造: トークンの順序による繋がりはなく、回転させることで空間構造を洞察します。
- グローバル PCA: 実験のフレームワークとして使用され、言語データセットの分離を見る際にも同一軸が用いられます(カメラのみが回転)。
- 学習済み関係: 埋め込みテーブル自体は、訓練を通じてトークンの使用パターンに基づき形成されており、モデルにとって意味のある出発点となります。
英語の状態:薄板構造の発見
100 のトピックにわたる 900 つの英語の Q&A を同一の凍結されたモデルで処理し、以下の可視化を行いました。
- 青色: 最終的なトークン状態を接続したパス(対話の流れ)。
- オレンジ色: 入力埋め込み(起始点)。
- 形態: 100 のトピックを通じて、英語の状態は薄い板のように振る舞うことが確認されました。
| 観察事実 | 詳細 |
|---|---|
| 形状 | カメラ回転時でもほぼ縁へと細かくなる板状。 |
| 適合度 | 最適な適合面が 3D 射影内の英語トークン状態変動の**約 99.3%**を含んでいた。 |
この現象から「膨大な種類の対話が単純な表面へと圧縮された」と結論付ける誘惑に駆られました。しかし、トピックよりも根本的な要素(言語自体)を変更する実験へと進みました。
言語は形状を変えるか?
同じトピックと意図を異なる言語に変更し、モデルが独立して回答を生成させた結果を確認しました。
- 中国語: ピンク色。明確なオフセットを示し、英語とは近接しない地域に存在しました。
- 答えは翻訳ではなく、独立して生成されたもの。
- 表現には議論対象の情報だけでなく、言語そのものの情報が含まれることが示唆される。
さらに比較対象として、ローマ字表記を使用する以下の言語を追加しました(各 900 例)。
- ドイツ語: 緑色(英語の広範な近隣地域に位置し、重複を示す)。
- クロアチア語: 紫色(英語に近いが、回答に含まれるトークン数が英語より多く、点と線分の数が増える)。
| 言語 | 色 | 空間的位置づけ |
|---|---|---|
| 英語 | 青 | ベースライン |
| 中国語 | ピンク | 明確なオフセット(分離されたカンプメント) |
| ドイツ語 | 緑 | 英語の近隣地域、顕著な重複 |
| クロアチア語 | 紫 | 英語の近隣地域、但し密度の高いパッチは知識の高さとは直結しない |
考察: 形状には例の実際の構成(トークン数など)も反映されており、「言語感受性」と「トピック構造」を単独で読み解くことは困難です。
コードの位置づけ:90 の Python 例
リスト処理、ソート、再帰など、90 つの Python コーディング例(ターコイズ色)を追加し、その位置づけを確認しました。
- プロンプトは英語だが、回答は独立して生成された Python。
- 結果: コードは英語および他のローマ字表記データセットと同じ広範な近隣地域に現れました。
- 「近い」の定義難しさ: シンプルな距離比較ではコーディングがドイツ語やクロアチア語に似ていましたが、数値的な意味での最近傍はあくまで別の問題です。
コードを「言語」と呼ぶ場合、記号・構造・目的の属性が絡み合っていることが浮き彫りになりました。
ウィンドウの変更:対話 PCA の採用
元のグローバル PCA は**語彙埋め込み(98%)**と対話平均値(2.0%)を混合して適合させていましたが、PCA は興味深い観測の優先順位を理解しません。 そこで、対話平均値のみを使用して方向を選択し、新しいフレームに射影する「対話 PCA(Conversation PCA)」を試みました。
- 測定結果の変化:
- 対話 PCA の 3 つの方向: 対話平均値間の変動の 80.1% を捉えた。
- グローバル PCA の 3 つの方向: 同平均ベクトル変動の 42.4% しか捉えていなかった。
| 比較項目 | グローバルPCA (3 軸) | 対話PCA (3 軸) |
|---|---|---|
| 説明する変動率 | 42.4% | 80.1% |
これは、語彙指向のフレームと対話指向のフレームが、同じ下位表現内で異なる関係性を強調できることを示しています。
地図が漏らすもの:3D ビューの限界
観察された平坦さを実際の2,048 次元空間と比較しました。
| 測定項目 | 結果 |
|---|---|
| 可視な 3D 変動 (適合面内) | 99.7% (ほぼ全ての変動) |
| グローバルPCA軸が捉える変動 | 17.6% |
| 最適な 2D 平面による変動 | 28.7% |
| 完全なトピック変動の 90% を維持に必要な方向数 | 684 |
分析:
- 3D ビューはほぼ全ての変動を含んでいましたが、元の空間の**82.4%**は見落としが発生していました。
- 軸は強く言語を追跡しており、言語を考慮した後もトピック構造が残っていました。
- 変動が均等に分布していれば 3 軸では約 0.15% しか捉えられず、実際の捕捉率は参照値の約 120 倍という強い集中度を示しました。
結論
本研究は LLM の剰余ベクトル空間内で対話がいかに現れるかを探求的視点から考察しました。
- 3 次元ビュー: 数千の対話は、薄く重なり合う板状の形を形成します。
- 言語とコード: 異なる言語やコードは、部分的に共有される地域を通じてパスを描き出し、共通の幾何学的構造を開示しました。
- 考察の意義: この地図化は、多言語モデルにおける言語感受性と共有幾何学を可視化する重要な手がかりを提供します。