openTPU：オープンソース AI アクセラレータ

Google が開発したオープンソースの AI アクセルレーター「openTPU」は、ハードウェア設計における AI エージェントの可能性を探求しています。このプロジェクトは、以下の 2 つの核心的な問いを追求しています。

• ハードウェア設計において、AI エージェントがどこまで到達できるか？
• 彼らが自身の推論を実行するチップ自体を構築できるか？

学習の場としての openTPU

openTPU は、エンドツーエンドで読み込める単一の小さなモノリポジトリとして設計されており、学習プロジェクトとしても機能します。

構成要素

以下のすべてが含まれています。

• ハードウェア設計: SystemVerilog (SystemVerilog)
• 命令セットおよびコンパイラ: カーネル言語とコンパイル処理を含む
• シミュレーター: ビット単位で正確な動作を確認可能
• ホストソフトウェア: 実在する PCIe カードを制御

学習方法

AI アクセラレータの仕組み（Python の行列積計算から配線まで）を理解したい場合は、ここから始めるのが最適です。

ベンチマーク結果

Inspur YPCB-00338 カード（Xilinx Kintex-7 xc7k480t, DDR3 2 チャンネル）上で、10 の現代型モデルを実際の重み付きで動作させています。カードの生成するトークンは、シミュレーターの結果もビット単位で完全に一致します。

デコード・ベンチマーク表

注: 測定条件は各ビルドの日付（2026 年 9 月 29 日〜10 月 1 日）とプロダクションイメージ（

deploy_champ_e698dcd7

など）に基づいています。 ビルドの改良点: ビルド B は、LFM2-2.6B および Phi-4-mini のデコードを8〜9% スピードアップし、DRAM ピーク性能も 82〜87% から**91〜94%**に改善しました。

ハードウェア仕様

• イメージ: メインイメージ

  e698dcd

  は 133.33 MHz で動作。メモリコア内の CPU が LiteDRAM コントローラーを較正し、4 コラム式システミック行列ユニットおよびストリームエンジン（docs/stream.md）を備えています。DDR3-1066 を使用し、ピーク性能は 17.1 GB/s です。
• ホスト: カードは Intel Core i7-4790 搭載の opentpu 内に搭載されています。

手法と詳細

• 手法: デコードは、512 トークンのプロンプト後に 64 グリディ tokens を生成し、ホスト側で argmax ループを行います（Stream 化されていません）。
• DRAM トラフィック: カード自身のカウンターから取得。
• Gemma 4 E2B: レイヤーごとの埋め込みテーブルをカード上保持（3.5〜3.6 GiB）。Hugging Face のグリディ tokens を 3 プロンプトで一致させます。
• Gemma 4 E4B: テーブルはホスト上に留まり、1 トークンごとに 11 KB の行をカードにコピーします。イメージサイズは 3.96 GiB。

ストリーム化されたロジットの比較

カードが動作中にロジットをストリーミングして取得する場合（

tools/decode_profile.py

モデル・オブ・エキスパート（MoE）モデル

カードの 4 GiB を超えるモデルは、エキスパートをホストストレージからストリーミングします。

• LFM2.5-8B-A1B (パラメータ 85 億): 平均 10.6 トークン/秒。98.5% のエキスパートがスロットにヒットし、各トークンあたり 5.2 MB がストリーミングされました。
• Qwen3.5-35B-A3B (パラメータ 347 億): 平均 3.95 トークン/秒。62% のエキスパートがヒットし、PCIe を介して各トークンあたり 153 MB（1.41 GB/s）がストリーミングされました。

クアンタ化（4 bit 重み）

• 方式: FP4 値を使用し、1 重みあたり 4.25 bit で保持（LM ヘッダーは int8）。
• 効果: バイト数を約 3 分の 1 削減。デコード速度は Qwen3.5 で 40% 向上、Qwen3 および LFM2 で 45% 向上します。

ホストオーバーヘッド

ホストの干渉はほぼありません。

• LFM2/Qwen3: トークンあたり追加オーバーヘッドは、omarchy で 0.17〜0.30 ms、opentpu で 0.45〜1.3 ms です。

仕組み

アーキテクチャは意図的にシンプルに設計されています。

• サイクルごとの動作: シーケンサーが 1 つの指令を発行します（DMA: データ移動、行列ユニット: 乗算、ベクトルユニット: fp32 計算、クアンタイザー: int8 変換）。
• キャッシュなし: キャッシュや隠れたスケジューリングは存在せず、すべてのデータ移動が明示的な指令です。

アーキテクチャフロー

+---------------------------+
| カーネル (ol 内)          |
|   MLP, Attention, Full    |
|   モデルレイヤー           |
+------------+--------------+
             |
             v @ol.jit
+------------+--------------+
| 言語 + コンパイラ         |
| レイアウト、アフィニループ |
| アドレス指定、フュージョン |
+------------+--------------+
             |
             v ISA（1 つの指令に 32 ビット語×8）
+------------+--------------+
| ISA シミュレーター        <======> RTL          (SystemVerilog)
| (Python)                 +------------------+
+------------+--------------+                  | Vivado ビットストリーム
             |                                  |
             v                                  |
+------------+--------------+                   |
| FPGA カード               |-----------------> Kintex-7 xc7k480t
| PCIe                    |                   |
+------------+--------------+<------------------+
             |                                  |
             v                                  |
+------------+--------------+                  |
| ホスト         otpu-chat    |   otpu-smi       |
|         otpu-lens        |   otpu-selftest  |
+---------------------------+

カーネルの例

from opentpu import language as ol

@ol.jit
def mlp(h, gamma, w_gate, w_up, w_down, out, eps):   # 簡略化版；詳細は kernels/mlp.py
    x = ol.load(h)
    xs = ol.quantize(rmsnorm(x, ol.load(gamma), eps))
    g = ol.dot(xs, w_gate)
    u = ol.dot(xs, w_up)
    a = ol.all_gather(silu(g) * u)
    y = ol.all_gather(ol.dot(a, w_down))
    if ol.program_id() == 0:
        ol.store(out, x + y)

Lens (プロファイラー)

• 機能: レンズは RTL、シミュレーター、またはカードから実行を記録し、ブラウザで表示します。
• 可視化: ルーフライン、タイムライン、および各指令ごとのテーブルを表示（docs/lens.md 参照）。

お試しください

カードを使用しない場合、すべての動作はノートパソコン上で可能です。

インストールと実行

# イネード
pip install -e .
pip install pytest torch transformers

# テスト実行 (RTL テストには Verilator 5 も必要)
python3 -m pytest -q

# モデルダウンロード
hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M

# シミュレーターでのチャット
otpu-chat --model lfm2 --backend isa

カードを使用する場合

1. ビットストリームをビルド:

   make bit

   (boards/ypcb-00338)
2. JTAG 経由でロード。
3. セットアップと実行:

   sudo otpu-setup
   otpu-chat --backend board
   

コマンド参照表

otpu-chat

otpu-smi

otpu-lens

otpu-selftest

otpu-diag

読み始める場所

1. docs/isa.md: 命令セット。他のすべてはこれに基づいています。
2. opentpu/kernels と docs/compiler.md: カーネルがどのように指令になるか。
3. opentpu/isasim.py: シミュレーター（これが仕様）。
4. rtl/: ハードウェア (

   rtl/top/otpu_top.sv

   から開始)。
5. docs/lfm2.md, docs/qwen35.md, docs/benchmarks.md: 全体モデルとサイクルの行先。
6. docs/board.md: 物理的なカード（クロックから PCIe まで）。

次に進むこと

• DRAM の最後の数％: デコードは DRAM エフェシエンスに制約されています。LiteDRAM パスの効率改善が続いています。
• タイミングマージンと面積: 設計は 128 バイトポートが追いつく 133.33 MHz で閉じていますが、僅かなマージン（WNS +0.032 ns）です。Vivado の実行トーナメントで改善が続いています。
• より高速なプリフィル: プリフィルはまだ行列ユニットの乗算速度に制限されています。

貢献とライセンス

• 貢献: バグ報告とプルリクエストを歓迎します。多くの作業には Python と Verilator のみで十分です。変更時は

  python3 -m pytest -q

  を通す必要があります。
• ライセンス: Apache License 2.0