Apple Neural Engine (ANE) アーキテクチャ逆エンジニアリング：再挑戦と新たな発見

はじめに

3 年前に停止していた ANE（Apple Neural Engine）ドライバ開発を再開しました。当初の逆エンジニアリングプロジェクトは、実用性の限界（汎用的なアクセラレータとしての設計思想や、Transformer ワークロードへの適応不足）により中断されました。しかし、M1 デジタルショットなどの情報から独立した NPU の登場が近いことを察知し、さらに知識を蓄えた状態でアーキテクチャ全体のマッピングを試みます。

本記事では、ANE の内部設計（コンピューティング、データパス、メモリ階層など）と、既存の性能ボトルネックについて整理します。

---

1. コンピュート（Compute）コア

コア構造

• 構成: 16 つの並列コンピューティングコアを搭載。
• MAC レーン:
  • 各コアに 128 個 (FP16) または 256 個 (INT8) の並列 MAC（Multiply-Accumulate）レーンを有する。
  • 合計 2048 個の平行 MAC レーン（$128 \times 16$）。
• データフロー:
  • ハードウェア内には 4 チャネルの CNN レイヤーが直接エンコードされていない。
  • ワークロードの特性（CNN または Transformer）によって、オペランドのマッピングとスケジューリング手法が決定的になる。

MAC データパス

各コア内部のデータパスは以下の通りです。

┌────────────────────── core ─────────────────────┐
│ ┌───────── 256× MACs ─────────┐  ┌────────────┐ │
│ │ MAD ─► add ─► accumulator   │─►│ activation │ │
│ │        ▲          │         │  └────────────┘ │
│ │        └──────────┘         │                 │
│ └─────────────────────────────┘                 │
└─────────────────────────────────────────────────┘

• 動作原理:
  • 16 ビット精度の乗算器と、32 ビット幅（Q16.16）の蓄積レジスタを使用。
  • 1 サイクルあたり

    s <- s + a × b

    の演算を行い、時間軸におけるスカラー累和を実行。
• 精度特性:
  • 出力は FP16 固定小数点形式で読み出される。
  • 蓄積器は $2^{15}$ で飽和し、符号付き 32 ビット整数値の範囲と一致する。

非線形活性化関数

• 仕組み: MAC 計算の結果を直接活性化ブロックに入力し、中間メモリの往復を回避可能（ポイントごとの操作のため）。
• LUT (Look-Up Table) 方式:

  • tanh()

    や

    ReLU

    などの活性化関数は、33 エントリの LUTを使用して近似している。
  • 係数領域には 33 個の連続した FP16 ワード（量子化サンプル）が格納される。
• 補間手法:
  • 入力は $u=2^R|x|$ にスケーリングされ、隣接エントリを線形補間して滑らかな挙動を実現。

スケーリングとバイアス

CoreML は線形変換

$y = \sigma(ax + b)$

をサポートし、活性化関数との統合がなされる。

• 最適化:
  • 定数スケールとオフセットはコンパイル時に畳み込み層に折りたたまれる（例:

    W' = W/2, b' = b/2 + const

    ）。
• ハードウェア統合:
  • バイアスと活性化が共有する「ポスト-MAC パス」により、計算グラフを削減。

---

2. スケジューラとタスク管理

コマンド実行モデル

ANE ドライバは GPU と同様、**プッシュ・モデル（Push Buffer）**を採用しています。

• 動作: ソフトウェアがコマンドストリームをメモリに配置し、ハードウェアは「ドアベル（TM_PUSH）」を鳴らして提出する。
• 特徴: ハードウェアは DMA エンジンを介して構成レジスタを書き込み、タスクを所有・実行する。

タスクキュー（Task Queue）

タスクマネージャーは 8 つのタスクキュー（TQ 0〜7）を選択的に使用します。

• 構造:
  • 各 TQ はステータス、優先度、空き状況などの状態レジスタを持つ。
  • ワンハンドシェイク staging スキームを採用し、2 セットのスロット（BAR1/BAR2 など）を交互に使用してオーバーラップさせる。
• 起動方法:
  • CPU はタスク記述子（TD）のポインタを設定し、

    TM_PUSH

    を発行することで実行を開始。

タスク記述子（Task Descriptor, TD）

TD は ISA（命令セット）ではなく、ControlDMA パケットの連鎖です。ハードウェア構成レジスタへの設定シーケンスを定義します。

• 内容:
  • KernelDMASrc: カーネル重みの DRAM 読み込み先とサイズ。
  • TileDMASrc/Dst: 入力/出力タイルのアドレスとフォーマット。
  • L2 / PE / NE: ローカルメモリ設定、プロセシングエンジン、MAC コア設定など。
• 実行フロー:
  1. ControlDMA が TD を構成レジスタにコピー。
  2. KernelDMA が重みデータを KMem に転送。
  3. TileDMA が DRAM ⇄ L2 のデータ転送を実行。
  4. MAC コアで計算（累和）を行う。
  5. ポストプロセッシング（活性化など）を適用。

アーキテクチャの限界と特徴

• 固定機能エンジン:
  • ANE は汎用 GPU と異なり、データフローが固定されている。
  • コンパイラはテンソルの操作をスケジューリングできるが、動的な指令発生の自由度は低い。
• トレードオフ:
  • 汎用性の欠如は面積削減、決定論的な動作、低レイテンシーを実現した。
  • Transformer のような複雑なワークロードに対し、**メモリの移動（Memory Movement）**が主なボトルネックとなる構造になっている。

---

3. メモリ階層と DMA

ローカルメモリ（L1/L2/KMem）

Apple はオンチップ SRAM を用いて、DRMA への頻繁なアクセスを回避しています。

                         Unified DRAM
                                 │
                                 ▼
┌───────────────────────────────────────────────┐
│      shared ANE L2 memory, 2 MiB              │
└────────┬───────────────┬───────────────────┬──┘
         │               │                   │
         ▼               ▼                   ▼
  ┌────────────┐   ┌────────────┐  ...  ┌────────────┐
  │   core 0   │   │   core 1   │       │   core N   │
  │ ┌────────┐ │   │ ┌────────┐ │       │ ┌────────┐ │
  │ │   L1   │ │   │ │   L1   │ │       │ │   L1   │ │
  │ └────────┘ │   │ └────────┘ │       │ └────────┘ │
  │ ┌────────┐ │   │ ┌────────┐ │       │ ┌────────┐ │
  │ │  KMem  │ │   │ │  KMem  │ │       │ │  KMem  │ │
  │ │ 64 KiB │ │   │ │ 64 KiB │ │       │ │ 64 KiB │ │
  │ └────────┘ │   │ └────────┘ │       │ └────────┘ │
  └────────────┘   └────────────┘       └────────────┘

• KMem (Kernel Memory): コア単体で 64 KiB×16 のローカル SRAM。カーネル重みを保持（専用パスのため DRAM から読み込み）。
• L1: MAC 入力用のステージングエリア。
• L2: 全コアで共有する 2 MiB メモリ。中間結果のバッファとして機能。

DMA エンジンの役割

3 つの主要な DMA エンジンが存在し、異なるライフサイクルを持つデータ転送を担当します。

1. KernelDMA: カーネル重み専用の一方向ロード。KMem (64 KiB) への転送。
   • 理由: 重みは頻繁に書き換えられないため、専用パスで効率化。
2. TileDMASrc: DRAM → L2（入力タイルの読み込み）。
3. TileDMADst: L2 → DRAM（出力タイルの保存）。
   • 理由: 活性化値は頻繁に書き換えられるため、双方向かつ共有パス。

注意: KMem から L2 への直接転送は実装されていません。カーネルトラフィックが L2 バンド幅と競合しないように設計された可能性が高いですが、物理レイアウト上の制約やモジュールの独立性維持のためかもしれません。

メモリ帯域幅（Roofline）

ANE のピーク性能はメモリ転送によって制限されています。

• 計算能力: 理論上 $22\text{ TB/s}$ 必要だが、実測 $11\text{ TOP/s}$。
• ボトルネック:
  • システム DRAM ($68\text{ GB/s}$) を単体で使用する場合、計算は飽和せず。
  • ローカルメモリ（L1/L2/KMem）の再利用率が性能を決定づける。
• 目安: 効率的な計算を行うには、DRAM アクセスあたりの演算数 (OP/byte) が約 162以上必要です。

---

4. パフォーマンス評価：ANE vs GPU

DRAM スループット比較

Transformer デコードのような「重みストリーミングが中心」の負荷において、ANE と GPU の性能差を測定しました。

デバイス	タイプ	最大スループット	測定方法
ANE	KernelDMA	37.99 GB/s	CoreML カーネルサイズ別実行時間
ANE	TileDMA	59.08 GB/s	CoreML タイルソースサイズ別実行時間
GPU	統合メモリアccess	77.70 GB/s	Metal バッファ読み込み (Shader Checksum)

結論：DRAM ルーフラインにピン止め

• 並行性不足: ANE のカーネルとタイル DMA リクエストは、シリアル（直列）に処理されており、合計スループットは単純加算 (

  38 + 60

  ) を達成できていません。
• 性能差の要因:
  • GPU は単一の大きなメモリ帯域でアクセスできる一方、ANE は分割された低速な DMA エンジンを使用しています。
  • アーキテクチャ上の制約により、ANE の最大可能性能は現在の DRAM スループット ceiling（天井）に追いついておりません。

今後の展望：50 GB/s 以上の引き出し方

もしカーネル DMA スループットをさらに向上させることができれば、以下のような改善が期待されます。

• L2 と KMem の統合による専用パスの撤廃。
• メモリコントローラーの帯域幅増強。
• Transformer ワークロード向けのデータフロー最適化。

現在、ANE は「汎用的なアクセラレータ」ではなく、「特定用途（2017 年の CNN/Transformer 移行期）に向けた専用エンジン」として設計されています。LLM 時代においてはその限界が浮き彫りになりつつありますが、M5 などの新チップではこのアーキテクチャが大きく進化（独立 NPU への統合）する予定です。