**Executorch：PyTorch のためのモバイル・組込み・エッジ向けオンデバイスAI**

ExecuTorch
PyTorch をベースにしたオンデバイス AI 推論

ExecuTorch

スマートフォンからマイクロコントローラまで、プライバシー・性能・携帯性を重視して設計された統合型ソリューション。Meta の Instagram、WhatsApp、Quest 3、Ray‑Ban Meta Smart Glasses などでオンデバイス AI を実現しています。

既存の PyTorch API をそのまま使って LLM、ビジョン、音声、多モーダルモデルをデプロイできるため、研究から本番への移行がシームレスです。C++ の手動書き換えは不要で、フォーマット変換も不要。ベンダーロックインは発生しません。

目次

• ExecuTorch を選ぶ理由
• 実装の仕組み
• クイックスタート
  • インストール
  • エクスポートとデプロイ（3 ステップ）
  • デバイス上で実行
  • LLM の例：Llama
• プラットフォーム・ハードウェアサポート
• 本番環境での導入
• サンプル & モデル
• 主な特徴
• ドキュメント
• コミュニティと貢献
• ライセンス

ExecuTorch を選ぶ理由

実装の仕組み

ExecuTorch は AOT（Ahead‑of‑Time）コンパイルを利用して PyTorch モデルをエッジデプロイ用に最適化します。

1. Export –

   torch.export()

   でモデルグラフをキャプチャ。
2. Compile – 量子化・最適化・ハードウェアバックエンドへのパーティション化 →

   .pte

   ファイル生成。
3. Execute – 軽量 C++ ランタイムでデバイス上にロードし実行。

モデルは Core ATen 演算セットを標準化しており、パーティショナーがサブグラフを NPU/GPU などの専用ハードウェアへ委譲しつつ CPU フォールバックも提供します。
詳細: [How ExecuTorch Works] • [Architecture Guide]

クイックスタート

インストール

Android、iOS、組み込みシステム向けのプラットフォーム固有設定は Quick Start ドキュメントを参照してください。

エクスポートとデプロイ（3 ステップ）

import torch
from executorch.exir import to_edge_transform_and_lower
from executorch.backends.xnnpack.partition.xnnpack_partitioner import XnnpackPartitioner

# 1. PyTorch モデルをエクスポート
model = MyModel().eval()
example_inputs = (torch.randn(1, 3, 224, 224),)
exported_program = torch.export.export(model, example_inputs)

# 2. ターゲットハードウェア向けに最適化（バックエンドは一行で切替）
program = to_edge_transform_and_lower(
    exported_program,
    partitioner=[XnnpackPartitioner()]   # CPU | CoreMLPartitioner() for iOS | QnnPartitioner() for Qualcomm
).to_executorch()

# 3. デプロイ用に保存
with open("model.pte", "wb") as f:
    f.write(program.buffer)

# 任意: ExecuTorch ランタイムの pybind API でローカルテスト
from executorch.runtime import Runtime
runtime = Runtime.get()
method = runtime.load_program("model.pte").load_method("forward")
outputs = method.execute([torch.randn(1, 3, 224, 224)])

デバイス上で実行

cpp<br>#include <executorch/extension/module/module.h><br>#include <executorch/extension/tensor/tensor.h><br>Module module("model.pte");<br>auto tensor = make_tensor_ptr({2, 2}, {1.0f, 2.0f, 3.0f, 4.0f});<br>auto outputs = module.forward(tensor);

swift<br>import ExecuTorch<br>let module = Module(filePath: "model.pte")<br>let input = Tensor<Float>([1.0, 2.0, 3.0, 4.0], shape: [2, 2])<br>let outputs = try module.forward(input)

kotlin<br>val module = Module.load("model.pte")<br>val inputTensor = Tensor.fromBlob(floatArrayOf(1.0f, 2.0f, 3.0f, 4.0f), longArrayOf(2, 2))<br>val outputs = module.forward(EValue.from(inputTensor))

LLM の例：Llama

export_llm

# export_llm を使用
python -m executorch.extension.llm.export.export_llm --model llama3_2 --output llama.pte

# Optimum-ExecuTorch を使用
optimum-cli export executorch \
  --model meta-llama/Llama-3.2-1B \
  --task text-generation \
  --recipe xnnpack \
  --output_dir llama_model

LLM ランナー API でデバイス上実行します。

cpp<br>#include <executorch/extension/llm/runner/text_llm_runner.h><br>auto runner = create_llama_runner("llama.pte", "tiktoken.bin");<br>executorch::extension::llm::GenerationConfig config{ .seq_len = 128, .temperature = 0.8f };<br>runner->generate("Hello, how are you?", config);

swift<br>import ExecuTorchLLM<br>let runner = TextRunner(modelPath: "llama.pte", tokenizerPath: "tiktoken.bin")<br>try runner.generate("Hello, how are you?", Config { $0.sequenceLength = 128 }) { token in print(token, terminator: "") }

kotlin<br>val llmModule = LlmModule("llama.pte", "tiktoken.bin", 0.8f)<br>llmModule.load()<br>llmModule.generate("Hello, how are you?", 128) { result -> print(result) }

画像・音声を扱うマルチモーダルモデル（Vision、Audio）は MultiModal ランナー API を利用し、テキスト入力と同時に画像や音声データを処理できます。 Llava や Voxtral の例も参照してください。

examples/models/llama

次のステップ

• 📖 ステップ‑by‑ステップチュートリアル – 初めてのモデル導入ガイド
• ⚡ Colab ノートブック – ブラウザで ExecuTorch をすぐに試せます
• 🤖 Llama モデルデプロイ – 量子化とモバイルデモを含む LLM ワークフロー

プラットフォーム・ハードウェアサポート

詳細はバックエンドドキュメントでハードウェア要件と最適化ガイドを確認してください。デスクトップ/ノートPC GPU 推論（CUDA・Metal）は Desktop Guide を、Zephyr RTOS 連携は Zephyr Guide を参照。

本番環境での導入

ExecuTorch は Meta のアプリや VR/AR デバイス、パートナー企業で大規模にオンデバイス AI を実現しています。成功事例を確認 →

サンプル & モデル

• LLM：Llama 3.2/3.1/3, Qwen 3, Phi‑4‑mini, LiquidAI LFM2
• マルチモーダル：Llava（Vision‑Language）、Voxtral（Audio‑Language）、Gemma（Vision‑Language）
• Vision / Speech：MobileNetV2、DeepLabV3、Whisper

リソース：

examples/

executorch-examples

主な特徴

• 量子化 – torchao による 8bit/4bit・動的量子化を標準サポート
• メモリ計画 – AOT アロケーション戦略で効率的に使用
• 開発ツール – ETDump プロファイラ、ETRecord インスペクタ、モデルデバッガ
• 選択的ビルド – 未使用演算子を除去してバイナリサイズを最小化
• カスタム演算子 – ドメイン固有のカーネルを拡張可能
• 動的形状 – バウンディング範囲内で可変入力サイズに対応

量子化技術、カスタムバックエンド、コンパイラパスは Advanced Topics で詳述しています。

ドキュメント

• [Documentation Home] – 完全なガイドとチュートリアル
• [API Reference] – Python, C++, Java/Kotlin API
• [Backend Integration] – カスタムハードウェアバックエンド構築
• [Troubleshooting] – よくある問題と解決策

コミュニティと貢献

コミュニティからの貢献を歓迎します！

• 💬 GitHub Discussions – 質問やアイデア共有
• 🎮 Discord – チーム・コミュニティとのチャット
• 🐛 Issues – バグ報告や機能要望
• 🤝 [Contributing Guide] – ガイドラインとコードベース構造

ライセンス

ExecuTorch は BSD ライセンスで配布されており、

LICENSE