Kolmogorov-Arnold Network (KAN) を活用した FPGA 超高速推論・オンライン学習アーキテクチャ

2026 年 6 月 7 日に発表された修士論文の要約です。Kolmogorov-Arnold Networks (KAN) アーキテクチャを用いたハードウェア設計により、超高速推論およびFPGA 上でのリアルタイムオンライン学習を実現します。本稿は標準的な機械学習およびハードウェア知識を前提とした高レベル解説です。

詳細なベンチマーク結果と論文情報は、以下の 2 つの主要論文をご参照ください。

• [FPGA 2026 Best Paper]

  • Title: "KANELÉ: Kolmogorov–Arnold Networks for Efficient LUT-based Evaluation."
  • Authors: Duc Hoang*, Aarush Gupta*, Philip C. Harris.
  • Conference: Proceedings of the 2026 ACM/SIGDA International Symposium on Field Programmable Gate Arrays (ACM, 2026).
  • DOI: https://dx.doi.org/10.1145/3748173.3779202

• [ICML 2026]

  • Title: "Ultrafast on-FPGA Online Learning via Spline Locality in Kolmogorov-Arnold Networks."
  • Authors: Duc Hoang*, Aarush Gupta*, Philip Harris.
  • Repository: arXiv preprint arXiv:2602.02056 (2026).
  • Link: https://arxiv.org/abs/2602.02056

※ 星印 (*) は同等な貢献（equal contribution）を示します。

---

1. FPGA 上での機械学習の重要性

現状の問題点：GPU の限界

• 主流だが非最適化: 現在の ML ワークロード（訓練・推論）はGPUが中心ですが、これは「高度な並列処理」と「大量データでの高速吞吐」に特化しています。
• 超低遅延への不適合: GPU は指令スケジューリングや動的メモリアクセスなどのオーバーヘッドがあり、**亜微秒（sub-microsecond）**級の超低遅延や極限のハードウェア効率が必要な領域では対応できません。
• カスタム回路の必要性: 超低遅延を必要とする専用ワークロードには、汎用プロセッサではなく、カスタムハードウェア加速器が必要です。

FPGA の強み：アルゴリズムとハードウェアの共同設計

• 可重构論理: FPGA はデジタル論理素子で構成され、用途に合わせて回路構造を変更可能です。
• 基本素子:
  • LUT (Lookup Table): 2 進数入力の組み合わせごとに出力値を格納し、数字関数を実装します。
  • FF (Flip-Flop): 状態保存に使用されます。
• アーキテクチャ的革新: 神経ネットワークは「プロセッサ上で順序実行される指令」としてではなく、直接デジタル論理としてハードウェア回路の形で実装されます。これにより、超高速な ML が可能になります。

---

2. 背景知識と基本概念

定点量化 (Fixed-point Quantization)

• ビット操作: FPGA は連続値ではなく**ビット列（位）**のみを処理します。実数領域 $\mathbb{R}$ をビットにマッピングすることを「量化」と呼びます。
• 仕組み:
  • 全 8 ビットで小数点以下 4 ビットを使用する場合：
    • 表現可能な値数：$2^8 = 256$ 個
    • 範囲：$(-128/16) \sim (127/16)$、つまり $-8 \sim 7.9375$
    • スケール（分解能）：$1/2^4 = 0.0625$
• 課題: 離散値の有限範囲により、実数に対する量化誤差が発生します。これを最小化することが安定した学習・推論の鍵です。

查找表神经网络 (LUT-NNs)

• 定義: 任意の関数を LUT で表し、それを NN のコア原語として用いるアプローチです。
• 問題点: 従来の方法は多変数関数のテーブルサイズが入力次元に指数関数的（$2^{d \times \text{bits}}$）に増大するため非効率でした。
• 解決策: KAN はこの指数的爆発を避け、少ないリソースで高表現力を実現します。

Kolmogorov-Arnold Networks (KANs) の概要

• 構造の革新: 従来の MLP が「可学習な重み + 固定な活性化関数」であるに対し、KAN は**「可学習な活性化関数」**（辺に割り当て）を持ちます。
  • 公式：$y_q = \sum_{p=1}^{n_{\mathrm{in}}} \phi_{q,p}(x_p)$
  • 特徴：非線形性は重みではなく、辺上の関数 $\phi$ に所在します。
• 学習パラメータ化: 活性化関数は B-样条（B-splines）の直和として表現され、その係数を学習対象とします。
  • $\phi_{q,p}(x) = \sum_{i=1}^n c_{q,p,i}B_i(x)$

---

3. KANs を用いた FPGA 推論フレームワーク (KANELÉ)

アプローチ：LUT による可訓練な実装

• 基本原理: KAN の活性化関数 $\phi$ は、学習後に固定されたため、LUT に直接格納することで高速処理が可能です。
• 効率性:
  • KAN は一元関数の和構造を持つため、入力次元に依存する指数的成長を回避できます。
  • 不要なコンポーネントを容易に剪枝してリソース削減可实现します。
  • B-样条は小領域（例：$[-1, 1]$）で定義されるため、効率的な LUT マッピングが可能になります。

実装構成

• ワークフロー:
  1. CPU/GPU (PyTorch) 上で KAN を訓練し、重み（係数 $c$）と B-样条係数を固定化します。
  2. モデルを FPGA に移植・デプロイします。
  3. FPGA 上で LUT に活性化関数を格納し、演算木を用いて並列和を実行します。

成果 (Results)

• 性能: 最先端の FPGA 加速器と比較して同等以上の性能を発揮。
• 高速化: 既存の KAN-FPGA 実装比約 2700 倍 の速度向上を実現しました。

---

4. FPGA 上でのリアルタイムオンライン学習

課題と動機

• 静的モデルの限界: GPU では学習済みモデルを高速推論できますが、FPGA は「一度構築して固定」するため、動的なシステム（量子制御、核融合など）への適応が困難です。
• 目標: 数ナ秒〜微秒単位でモデルを更新し続けるオンライン学習の実現。

アプローチ：B-样条基関数の活用

• パラメータの保存戦略変更:
  • 推論時（固定）：活性化関数 $\phi$ を LUT に格納。
  • 学習時（動的）：B-样条基底関数 ${ B_i }$ を LUT に格納し、その係数 $c_{q,p,i}$ を更新します。
• 理由: $\phi = \sum c \cdot B$ の式において、$\phi$ が変化するためには変化する係数 $c$ のみを更新すればよく、基底 $B$ は固定できます。

技術的工夫

1. 局所性 (Locality) を活用したスパース計算

• 性質: B-样条は「局所的」です。入力が特定の区間（グリッド）にあるとき、有効な基底関数は非常に少ない ($S+1$ 個) です。
• 実装メリット:
  • ハードウェア回路規模は全体グリッド数 $G$ に比例せず、局所性の次数 $S$ だけで決まります。
  • グリッド数を増やして表現力を上げても（水平スケーリング）、ハードウェア負荷を増やさずに済みます。

2. 安定した定点量化訓練

• MLP の問題: 中間値の振幅が大きくなりやすく、固定点量子化では精度劣化（アンチ・クオタライゼーション）が起きがちです。
• KAN の性質: B-样条は $\sum B_i(x) = 1$ を満たします。
  • その結果、出力値 $f(x)$ は常に係数の最大値と最小値の間に抑えられます ($\min c \leq f \leq \max c$)。
  • これにより、振幅が予測可能となり、量化範囲の設定が容易で学習が安定します。

3. リアルタイム更新の実装フロー

• 前方向伝播: 入力 $x$ の区間を特定 → 局所的な B-样条の値を LUT から参照 → 係数と掛け合わせ → 和を取る。
• 逆方向伝播:
  • 事前に計算した B-样条の微分値を LUT に格納。
  • 既存のアクティベーション情報を再利用し、重み更新ロジックを実行。
  • グリッドと係数（メモリに保持）のみを書き換えることで、全パラメータを直書きします。

オンライン学習の結果

• スケーラビリティ: パラメータ数が 50,000+ に増えても動作可能。
• 遅延: **亜微秒（sub-microsecond）**級の更新時間を達成しました（過去に未実現）。
• ベンチマーク: 関数近似、量子ビット読み出し、非定常制御などのタスクで、MLP よりも優れたハードウェアスケーラビリティと収束性を見せました。

---

5. 結論

本研究は、Kolmogorov-Arnold Networks (KAN) が FPGA アーキテクチャに理想的であることを示しました。

1. 超高速推論: KAN の活性化関数は自然な形で FPGA の LUT にマッピングでき、ナ秒オーダーの超低遅延を実現します。
2. リアルタイム学習: B-样条の「局所性」と「有界性」を利用することで、FPGA 上で安定したスパースな勾配更新を可能にし、動的環境への適応が図れます。

GPU では困難だった KAN の特性（局所的表現力）は、カスタムハードウェア加速器において最大限に活用できると結論付けられました。