2026/03/04 8:11
タロス：深層畳み込みニューラルネットワーク向けハードウェアアクセレレーター
RSS: https://news.ycombinator.com/rss
要約▶
日本語訳:
ProjectTalos は、オペレーティングシステムやランタイムのオーバーヘッドなしで決定的な CNN 推論を提供する SystemVerilog で書かれたカスタム FPGA アクセラレーターです。固定小数点 Q16.16 算術を使用し、PyTorch の浮動小数点重みを 16 桁の分数部を持つ 32‑bit 符号整数に変換します。参照モデルは単層 MNIST CNN で、28×28 のグレースケール入力 → 4 本のカーネル（3×3）→ 26×26 の特徴マップ → ReLU → ストライド 2 の 2×2 MaxPool → 676 個にフラット化 → 10 クラスへの全結合層です。
畳み込みは 3×3 MAC ループとして実装され、32‑bit Q16.16 積を 64‑bit Q32.32 に昇格させてから 16 ビット右シフトします。積算は次のステージ用に convimg バスで行われます。MaxPool、ReLU、および Fully Connected は一つのモジュールに統合されます：最大値をゼロ（ReLU）で開始し、4 値を比較し、各プーリング結果を 10 本のニューロン重みと同時に M10K ROM を使って乗算し、10 個の 64‑bit レジスタに中間ストレージなしで蓄積します。10 ニューロンそれぞれが 676 重みすべてを保持する独自の M10K ROM を持ち、共有アドレスバスと
ker_sel推論制御は時間多重化されます：1 つの CNN と 1 つの MaxPool モジュールが連続して 4 回（各カーネルごと）実行され、FSM が蓄積器をクリアし、
cnn_encnn_complete4 つの CNN/MaxPool モジュールを並列にインスタンス化する初期試みでは DE1‑SoC のロジック容量を超えてしまい、時間多重化により LAB 使用量が約半分に削減され、Cyclone V デバイスに収まるようになりました。MaxPool と Fully Connected を融合させることで広い中間バスを排除し、リソース消費をさらに削減し、以前の設計で問題だった配線混雑も回避しました。
Talos は決定的なサイクル数と最小オーバーヘッドを重視し、操作順序（CNN → MaxPool → ReLU）を再配置して PyTorch の順序に比べ何千サイクルもの節約を実現しています。プロジェクトはオープンソースであり、SystemVerilog コード、ビルドフロー、およびドキュメントへのコミュニティ貢献を歓迎します。将来的にはより複雑なネットワークや追加の FPGA プラットフォームへの拡張が可能で、組み込みハードウェア上でリアルタイム推論を必要とする開発者に恩恵を与え、さらなるオープンソース FPGA アクセラレータ研究を促進します。
本文
ProjectTalos（プロジェクト・タロス）
ProjectTalosは、畳み込みニューラルネットワーク（CNN）の推論を極限まで高速化するために、最初から設計されたFPGAベースのハードウェアアクセラレータです。既存のソフトウェアロジックをハードウェアで再実装しただけではなく、深層学習推論が回路レベルでどのように動作すべきかを根本的に再考しています。
1. 背景
- 多くのディープラーニングフレームワークは柔軟性を重視
動的グラフ、可変バッチサイズ、多種多様なレイヤータイプに対応するために設計されています。 - Talosはその逆を取ります
実行時（ランタイム）、スケジューラ、OSのオーバーヘッドを排除し、FPGAの純粋な演算能力を露出させます。SystemVerilogで推論パイプライン全体を実装することで、計算ごとに決定的かつサイクル正確な制御を実現します。
2. ハードウェア開発の現実
| ソフトウェア | ハードウェア |
|---|---|
| バグが出たらログを確認し、プリント文を追加して数秒で再コンパイルできる | 診断は物理的制約とシリコンの厳格な限界に縛られ、エラー許容度は極めて小さい。タイミングウィンドウからわずか0.5 nsでもズレればシステム全体が崩壊 |
| デバッグはコードを読むだけ | 波形を数時間観察し、誤った瞬間にビットが反転するのを検出。ハードウェアデバッグは機械自体と交渉する作業 |
3. 開発動機
PyTorch が遅い理由は「悪く設計されたから」ではなく、「柔軟性を重視したため」です。推論時には毎回そのオーバーヘッドが掛かります。Talos は 計算以外のものをすべて排除 し、パイプライン全体を決定的にハードウェア化します。
| 内容 | |
|---|---|
| ランタイム・スケジューラなし | すべての演算が既知の経路とサイクルコストを持ち、同じ入力は常に同じ時間で処理される |
| 生産環境では応答時間が重要 | データを流し続け、サイクルレベルで計算をスケジュールして待ち時間を最小化 |
| 大きな中間バッファ不要 | ストリーミングパイプラインで必要に応じてのみフューチャーマップを保持 |
| 固定小数点演算と専用制御 | 汎用オーバーヘッドを削減し、推論ごとの作業量・データ移動量を減らし、FPGAリソースの使用率を高める |
4. 推論パイプライン
Talos の最初のパイプラインは「必要な計算だけを行う」という大胆な単純化に基づいて構築されました。ランタイム、スケジューラ、抽象化は一切ありません。すべての演算は固定小数点で実装され、サイクルごとに決定的です。
4.1 モデル仕様と学習
- 入力: 28 × 28 のグレースケール画像
- 畳み込み層: 3 × 3 のカーネルを 4 個使用（パディングなし） → 26 × 26 のフーチャーマップ 4 通
- ReLU + MaxPool (2 × 2, ストライド 2) → 13 × 13
- Flatten: 676 次元ベクトルに変換
- 全結合層: 10 クラスへの直接マッピング
4.2 量子化（Q16.16）
| 項目 | 説明 |
|---|---|
| データ型 | 32 ビット符号付き整数 上位 16 ビット = 整数部（符号含む） 下位 16 ビット = 小数部 |
| float → Q16.16 | 倍算 (2^{16}) して四捨五入 |
| Q16.16 → float | 除算 (2^{16}) |
| 最小ステップ | (1/65536 \approx 1.5\times10^{-5}) |
| 演算 | 加減算は標準の32ビット整数演算 乗算: 64ビット結果を得て右シフト 16 ビット 除算: 分子に (2^{16}) を掛けた後で整数除算 |
表現可能範囲: ([-32768,; +32767.9999847])
4.3 畳み込み演算
- MAC（乗算累積）ループ
入力画像を行・列方向に走査し、各重みとピクセルを乗算。結果は 64 ビット Q32.32 に昇格させてから Q16.16 に再スケール。
4.4 MaxPool と全結合層
- MaxPool: 2 × 2 ウィンドウ内の最大値を取得。
- ReLU はゼロ初期化で無料（負数は除外される）。
- FC 層: 単純な回帰 (MAC)。Talos は MaxPool, ReLU, FC を一つに統合。
| ステップ | 内容 |
|---|---|
| 0 | 4 値を比較し最大値を更新（ReLU 相当） |
| 1 | 最大値を 10 個の重みと同時に乗算し、10 個の 64‑ビットレジスタへ蓄積 |
各ニューロンは 676 重みを保持する M10K ROM を持ち、全 10 本の ROM は単一アドレスバスで共有。1 サイクルで各ニューロンに対して 1 重みが読み込まれ、10 個の MAC が同時実行されます。
4.5 パイプライン最適化
- 順序変更: PyTorch は CNN → ReLU → MaxPool の順。Talos は CNN → MaxPool → ReLU に切り替え、数千サイクルを削減。
- 時間分割アーキテクチャ: 4 本の並列 CNN/MaxPool インスタンスは FPGA リソース超過。代わりに 1 本の CNN モジュールと 1 本の MaxPool モジュールを連続で走らせることでリソース使用率を半減。
- 有限状態機械 (FSM): アキュムレータクリア → CNN 実行 → MaxPool 実行 → カーネルセレクタ増加 → すべてのカーネル処理完了まで繰り返し。
4.6 ROM レイテンシ対応
M10K ROM アクセスは 1 サイクル遅延。FSM は読み出しアドレスを発行後 1 サイクル待機してから MAC ユニットを有効化し、正しいデータが使用されるようにします。
5. FPGA アーキテクチャ詳細
| 試作 | リソース使用量 | 課題 |
|---|---|---|
| 最初の試み（全並列） | 4 × LAB を消費し、ルーティング不可 | - |
| 時間分割版 | LAB 使用率を約半減 | - |
| MaxPool + FC 統合 | 中間ストレージ不要でリソース削減 | - |
| ROM 配置（.mif から初期化） | 全体使用率を約 1/3 に低減 | - |
6. 実践的な教訓
- ブートフォースはハードウェアで通用しない
ソフトウェアでは動くが、ハードウェアに収まらなければ意味がない。 - Quartus のタイミング解析を早めに実行
違反箇所を事前に検出できる。 - シンプルで明示的な制御と決定的タイミングの設計
洗練された抽象化よりも堅牢。 - オフバイワン遅延、未プリメード ROM 読み取り、無効データウィンドウ
これらがロジックエラーより多く失敗を引き起こす。
7. デモと付録
DE1‑SoC 上で Talos が動作する簡易デモがあります。プロジェクトはオープンソースで、SystemVerilog のコード改善やフローの最適化、ドキュメント追加などへの貢献を歓迎します。リポジトリに詳細が記載されています。
8. 参考文献
- AMD Vitis AI – DPU インフラと FPGA デプロイパターンの深掘り
- Samsung Labs Butterfly Accelerator – ハードウェア最適化インサイト
- NCAA: Hardware Accelerator for CNNs – FPGA アクセラレータ調査
- メモリ階層、組込みメモリ（ROM/RAM ポート）ガイド
- DE1‑SoC メモリ例 – メモリ使用法
ぜひコードを探索し、シミュレーションを実行したり改善案を提案してください。