トランスフォーマー（Transformer）とは何か

概要

トランスフォーマーは、人工知能の取り組み方そのものを変革したニューラルネットワークのアーキテクチャです。2017 年に発表された論文「Attention is All You Need」で紹介され以来、深層学習モデルにおける標準的な構成要素として確立されています。

• 代表的なモデル: OpenAI の GPT や Meta の Llama、Google の Gemini など、現在のテキスト生成モデルのすべてはこのアーキテクチャを採用しています。
• 応用範囲: テキストだけでなく、音声生成、画像認識、タンパク質構造予測、ゲームプレイなど、幅広い分野で汎用性が証明されています。

基本原理

テキスト生成型のトランスフォーマーは、以下の原則に基づいて動作します。

• 次トークン予測（Next-Token Prediction）: ユーザーから与えられたプロンプトを入力とし、「この入力に続く最も確率の高い次のトークン（単語や単語の一部）」を予測します。
• 革新性の源: **「自己注意機構（Self-Attention Mechanism）」**の利用です。これにより、従来のアーキテクチャよりも効率的にシーケンス全体を処理し、長距離の依存関係も捉えることが可能になりました。

Transformer Explainer の対象モデル

• GPT-2（small）シリーズを基盤としています。
• パラメータ数：1 億 2,400 万個。
• 特徴: 最新の最先端モデルではありませんが、多くの共通するアーキテクチャ構成要素と原理を共有しており、基礎を理解するための理想的な出発点です。

---

トランスフォーマーのアーキテクチャ

すべてのテキスト生成型トランスフォーマーは、以下の 3 つの主要コンポーネント から構成されます。

1. 埋め込み（Embedding）: テキスト入力をモデルが理解できる数値表現へ変換します。
   • 単語やサブワードを「トークン」に分割。
   • トークンの意味情報を保持する「数値ベクトル」に変換。
2. トランスフォーマーブロック: モデルの基本構成要素であり、入力データを処理・変換します。
   • 注意機構（Attention Mechanism）: トークン同士が互いに情報交換し、文脈や単語間の関係を捉えるための中核コンポーネント。
   • MLP（多層パーセプトロン）層: 各トークンの表現を洗練・精査する役割を担当します。
3. 出力確率: 最後に線形層とソフトマックス層が適用され、処理された埋め込みベクトルから次のトークンの出現確率を算出します。

---

埋め込み（Embedding）の詳細

テキスト生成には、以下の手順で入力データをモデルが操作できる数値表現へ変換する必要があります。

1. トークン化（Tokenization）

入力テキストを管理しやすい小さな断片である「トークン」に分解します。

• 定義: 単語也可以是サブワードとなります。
• 例: 「Data」や「visualization」はユニークなトークン。「empowers」は 2 つのトークンに分割されます。
• 語彙（Vocabulary）: モデルをトレーニング前に決定され、各トークンに固有の ID が割り当てられます（GPT-2 では 50,257 個）。

2. トークン埋め込み（Token Embedding）

各トークンを数値ベクトルとして表現します。

• 次元: GPT-2（small）では768 次元。モデルにより異なります。
• 構造: (50,257, 768) の形状を持つ行列に保存されます。
• パラメータ数: 約 3,900 万個（埋め込み行列単体）。
• 意味論的意味: 言語的に類似するトークンは高次元空間内で近接配置され、異なるトークンは遠く配置されます。

3. 位置エンコーディング（Positional Encoding）

埋め込み層は、各トークンが入力プロンプトにおける位置情報も符号化します。

• 方法: GPT-2 は位置エンコーディング行列をゼロから独自にトレーニングし、これをプロセスに直接統合しています。

4. 最終埋め込み（Final Embedding）

最終的な埋め込み表現を取得します。

• 計算式:

  トークンエンコーディング + 位置エンコーディング

• 結果: トokens の意味論的意味と、入力シーケンス内の位置情報を同時に捉えた表現が得られます。

---

トランスフォーマーブロック（Transformer Block）

処理の中核は、マルチヘッド自己注意機構と**多層パーセプトロン（MLP）**からなる「トランスフォーマーブロック」です。

• 構造: 複数のブロックが順次積み重ねられており、トークンの表現は第 1 ブロックから最後のブロックへ進化します。
• GPT-2（small）: 12 のブロックが構成されています。

マルチヘッド自己注意（Multi-Head Self-Attention）

モデルはシーケンス内のトークン間の関係を捉え、各トークンの表現は他方の影響を受けます。複数の「ヘッド」を持つことで、異なる視点から関係性を考慮できます（例：1 つのヘッドで構文リンクを、別のヘッドで広い文脈を追跡）。

計算ステップは以下の通りです。

ステップ 1: QKV マトリックス（Query, Key, Value）

入力埋め込みベクトルを変換して Query (Q), Key (K), Value (V) を導出します。

$$QKV_{ij} = (\sum_{d=1}^{768} \text{Embedding}{i,d} \cdot \text{Weights}{d,j}) + \text{Bias}_j$$

• Query (Q): 「もっと情報を得たい」と思っているトークン（検索語）。
• Key (K): 各トークンのタイトル（検索対象）。
• Value (V): トークン自身の実際のコンテンツ情報。

直感的な例え: ウェブ検索の仕組みです。Query と Key を比較してスコア出し、関連性の高い Value（コンテンツ）を取得します。

ステップ 2: マルチヘッド分割

Q, K, V ベクトルを複数のヘッッドに分割します（GPT-2 では12 ヘッッド）。

• 各ヘッッドは埋め込みの一部を独立して処理し、異なる構文および意味的な関係を捉えます。
• これにより多様な言語特性の並列学習が促進され、表現力が向上します。

ステップ 3: マスキード自己注意（Masked Self-Attention）

各ヘッッド内で計算を行います。

• 目的: 入力に関連する部分に焦点を当てつつ、未来のトークンへのアクセスを防ぐ。これによりシーケンス生成が可能になります。
• 計算プロセス:
  1. ドット積（Dot Product）: Q と K の行列内積から注意スコアを決定。正方行列を生み出します。
  2. スケーリング・マスク: スコアはスケーリングされ、未来トークンへのアクセスを防ぐため上三角部分に負無限大-値のマスクが適用されます。
  3. ソフトマックス・ドロップアウト: スコアを確率分布に変換し、正則化（Dropout）を施します。各行の合計は 1 になります。

ステップ 4: 出力と結合（Output and Concatenation）

自己注意機構の最終出力を得ます。

• マスキード自己注意スコアを Value マトリックスに乗算します。
• 12 つのヘッッドの出力は結合され、線形投影を通らせます。

MLP：多層パーセプトロン（Multi-Layer Perceptron）

複数の自己注意ヘッッドが入力トークン間の多様な関係性を捉えた後、結合された出力は MLP レイヤーに通されます。これによりモデルの表現能力が強化されます。

• 構造: 2 つの線形変換と、その間に配置された GELU 活性化関数から構成。
  • 第 1 の線形変換: 入力次元を4 倍に拡張（768 → 3072）。高次元空間へ投影することで、より豊かで複雑なパターンを捉えます。
  • 第 2 の線形変換: 次元を元のサイズ（768）に戻す圧縮ステップを行い、有用な非線形変換を保ちつつ表現を管理可能なサイズへ戻します。

自己注意 vs MLP:

• 自己注意機構: トークン間での情報統合を行う。
• MLP: トークンを独立に処理し、単なる空間マッピングによって全体のモデル容量を強化する。

---

出力確率（Output Probabilities）

入力がすべてのトランスフォーマーブロックを通過後、以下のプロセスで次のトークンが生成されます。

1. ログジットから確率へ

• 線形層: 最終表現を 50,257 次元の空間へ投影し、「ログイット（Logits）」を持ちます。
• ソフトマックス: ログイットを合計が 1 になる確率分布へと変換します。これにより、各トークンの出現可能性に基づいて次のトークンをサンプリングできます。

2. サンプリングと温度（Temperature）

最後のステップは、この分布からサンプリングして次トークンを生成することです。温度というハイパーパラメータで出力のランダム性を制御します（ログイットを温度で割る）。

• temperature = 1: ソフトマックスの出力に影響なし。
• temperature < 1: 分布を鋭くし、予測可能で決定論的な（deterministic）出力に。
• temperature > 1: より柔らかい分布を作成し、ランダム性や創造性を許容する。

3. サンプリング手法の微調整

• top-k サンプリング: 確率が最も高い上位

  k

  のトークンを候補として制限します。
• top-p サンプリング（Nucleus Sampling）: 累積確率が閾値

  p

  を超える最小のトークンの集合のみを考慮し、多様性を確保します。

これらを調整することで、決定論性と多様性のバランスを取ってモデルの振る舞いを最適化できます。

---

補助的なアーキテクチャ機能

モデル全体の性能向上に寄与する重要なコンポーネントです（特にトレーニングフェーズでは不可欠）。

• 層正規化（Layer Normalization）: トレーニングを安定させ、収束を早めます。自己注意機構と MLP の直前に 2 回適用されます。内部共分散シフトを軽減し、学習効率を高めます。
• ドロップアウト（Dropout）: ニューロンをランダムに無効化することで過学習を防ぎます。推論時では無効化され、実質的にトレーニングされたサブネットワークのアンサンブルとして動作します。
• リダクト接続（Residual Connections）: 2015 年の ResNet で導入された機能で、深いネットワークのトレーニングを可能にしました。ショートカット構造により勾配消失問題を防止し、初期レイヤーもアップデートを受けられるようにします（GPT-2 ではブロック内で 2 回使用）。

---

インタラクティブな機能

Transformer Explainer は、以下の機能を備えたインタラクティブなツールとして構築されています。

• テキスト入力: 独自のシーケンスを入力し、モデルの処理過程や次の単語予測を確認可能。
• 内部探検: 注意重みや中間計算を可視化し、出力確率の計算経路を追跡可能。
• ランダム性制御: テンプレートスライダーで温度値を変更し、決定論的から創造的な出力への遷移を観察可能。
• サンプリング調整: top-k や top-p 法を選択して分布の変化と予測への影響を確認可能。
• 注意マップ: トークンの上でホバーすると、その注目度（Attention Weight）をハイライト表示し、文脈理解の様子を探検できる。

---

技術背景と開発者について

実装方法

Transformer Explainer はブラウザ内で直接実行されます。

• 基盤モデル: Andrej Karpathy の

  nanoGPT

  プロジェクトに基づく PyTorch 実装。
• 環境: シームレスなブラウザ実行のために ONNX Runtime に変換されています。
• フロントエンド: JavaScript、Svelte（フレームワーク）、D3.js（動的可視化）を使用。数値はユーザー入力に合わせてリアルタイムで更新されます。

開発チーム

本ツールは以下のメンバーによって開発されました。

• Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Jay Wang, Seongmin Lee, Benjamin Hoover, Polo Chau （すべてジョージア工科大学）