
2026/03/01 12:03
**TorchLean:Lean によるニューラルネットワークの形式化**
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
TorchLean は、学習済みモデルを第一級の数学オブジェクトとして扱う Lean 4 フレームワークであり、実行と形式的検証が共有する単一の正確な意味論を提供します。
このフレームワークは、操作タグ付き SSA/DAG 計算グラフ IR に低減される eager モードとコンパイルモードを備えた PyTorch スタイルの検証済み API を提供します。IEEE‑754 binary32 カーネル(IEEE32Exec)による実行可能な Float32 意味論と、証明関連の丸めモデルを実装し、ランタイムモジュールでは数値的仮定と信頼境界を明示化することで、実際に動作するものと検証されるものとの意味的ギャップを橋渡しします。
検証は、この共有 IR 上でネイティブの Interval Bound Propagation(IBP)および CROWN/LiRPA スタイルの境界伝搬を使用し、証明モジュール内で証明書チェックが行われます。TorchLean は、認定された堅牢性、物理情報付きニューラルネットワーク残差バウンド、およびリヤプノフスタイルのニューラルコントローラー検証に対するエンドツーエンドの検証をサポートし、普遍近似定理などの機械化された結果を活用します。
システムは Frontend(モデル定義、レイヤー、Lean でのトレーニング/推論コード;eager とコンパイル実行)、Runtime(意味論、数値仮定、信頼境界)、および Verification(境界伝搬、証明書チェック)の三つの密接に統合されたモジュールに構成されています。このアーキテクチャは、同じ共有表現が実行・解析・証明を駆動し、学習ベースシステムの完全に形式化されたエンドツーエンド検証のための意味論優先インフラストラクチャを提供します。
本文
イリノイ大学アーバナ・シャンペーン校
要旨
ニューラルネットワークは安全性やミッションクリティカルなパイプラインにますます導入されていますが、検証・解析結果の多くはモデルを定義し実行するプログラミング環境とは別に作成されるため、実際に動作しているネットワークと解析対象との間に意味的ギャップが生じます。これにより、演算子の意味、テンソルレイアウト、前処理、浮動小数点の端ケースなど、暗黙の合意事項に保証が依存することになります。
本研究では TorchLean を紹介します。TorchLean は Lean 4 証明支援システム上で学習済みモデルを「第一級オブジェクト」として扱い、実行と検証で同一の正確な意味論を共有するフレームワークです。TorchLean は以下を統合します。
- PyTorch 風の検証可能 API(即時実行モードおよびコンパイルモード)が、共通のオペレーションタグ付き SSA/DAG 計算グラフ IR に低減されます。
- 実行可能な IEEE‑754 binary32 カーネルと証明に関係する丸めモデルを用いた Float32 の意味論を明示します。
- IBP と CROWN/LiRPA 風の境界伝搬を利用した検証で、証明書チェックも行います。
TorchLean は、認定されたロバスト性、PINN(Physics‑Informed Neural Networks)に対する物理情報残差上限、リヤプノフ型ニューラル制御器の検証など、エンドツーエンドで実証されており、普遍近似定理を含む機械化された理論結果も併せて提供します。これらは学習支援システムの完全に形式的なエンドツーエンド検証のための「意味論優先」インフラストラクチャであることを示しています。
主な貢献
- Lean 4 上で即時実行とコンパイルモードを備えた PyTorch 風の検証可能 API。
- IEEE‑754 binary32 カーネルと丸めモデルによる明確な Float32 意味論。
- IBP と CROWN/LiRPA 型境界伝搬により、証明書チェック付きで検証を実行。
- 認定ロバスト性、PINN 残差上限、リヤプノフ型ニューラル制御器のエンドツーエンド検証と機械化理論(普遍近似定理)を含む。
システムモジュール
TorchLean は、単一の正式意味論を共有する三つの密接に統合されたモジュールで構成されています。
-
TorchLean (フロントエンド)
- Lean 内でモデル・レイヤー・訓練/推論コードを定義できる PyTorch 風 API。
- 迅速な反復のための即時実行と、オペレーションタグ付き SSA/DAG グラフ IR に低減するコンパイルモード。
- 実行・解析・証明で共通に使用される単一表現。
-
Runtime (意味論)
- IEEE‑754 binary32 カーネル(IEEE32Exec)による実行可能 Float32 意味論。
- 数値仮定と信頼境界を明示する証明関連丸めモデル。
- 「意味的ギャップ」を排除し、動作と検証が同一であることを保証。
-
Verification
- 共有グラフ IR 上での IBP と CROWN/LiRPA 風境界伝搬。
- 計算された境界値を Lean 内で検証する証明書チェック。
- ロバスト性、PINN 残差上限、および制御指向安全/安定性(リヤプノフ型)検証をサポート。