
2026/11/18 1:01
Show HN: TrnRT – AWS Trainium向けオープンソースのLLM推論エンジン
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
TrnRT は、AWS Trainium2 ハードウェア上で動作する画期的な独立型オープンソース推論エンジンで、Apache 2.0 ライセンスの下に提供されています。これにより、AWS との関連性を保たずに柔軟性が確保されます。単一の
trn2.48xlarge インスタンスから OpenAI 互換 API を公開し、スパースおよび線形注意機構、radix ツリー事前キャッシュ、NKI メgakernels(1 レベルあたり融合核 1 つ)を備え、100 万トークンの大規模コンテキストを管理できます。このエンジンでは、ボックスごとに 32 の論理的 NeuronCores でテンソル並列化された 2 つのエンジンを活用し、同時マルチエージェントをサポートします。現時点では GLM-5.3-Flash モデルをサポートしており(さらにオープンソースモデルが追加予定)、x86_64 ホスト上で Neuron SDK 2.32 を用いたオフラインコンパイルを行います。ベンチマーク結果により、1 インスタンスが 32 人の同時エージェントを効果的に処理し、スポットプライスを利用した場合、100 万トークンあたり 0.040 ドルというコストで分速 28.9 リクエストの性能を実現することが示されており、オンデマンド料金よりも著しく低くなっています。また、すべての 32 ランクにわたりリファレンスビルドとのバイト単位で同一の出力が得られることで、技術的な信頼性が確認されています。セットアップには Docker、特定のホスト、および SDK バージョンが必要ですが、このテクノロジーは開発者が AWS インフラストラクチャ上で大規模 AI アプリケーションを効率的に実行することを可能にし、性能や精度を犠牲にすることなく導入できます。本文
TrnRT: AWS Trainium 向け大規模言語モデル推論エンジン
TrnRT は、AWS Trainium 向けの大規模言語モデル(LLM)用オープンソース推論エンジンです。
ハイライト
| 機能 | 概要 |
|---|---|
| NKI メガカーネル | デコード処理において、1 レイヤーあたり 1 つの融合化された カーネルを採用(KDA アテンション、DSA レイヤー、mHC モジュール、MoE FFN)。 |
| 100 万トークンコンテキスト | スパースアテンション(上位 2,048 トークン)とリニアアテンションを使用し、固定サイズのステートで動作。 |
| プレフィックスキャッシュ | FP8 KV ページに対してラジックスツリーを構築。追放されたページおよびステートチェックポイントをホストメモリに階層化して管理。 |
| 1 ボックスあたりの 2 エンジニアクション | セッションアフィンなルーターにより、各エンジンが論理的 NeuronCore 32 コアに対してテンソル並列化を実現。 |
| OpenAI API | チャット機能、コンプリション生成、ストリーミング出力、ツール呼び出しに対応。 |
| オフラインコンパイル | グラフ構築はすべて CPU ホスト上で行い、提供用インスタンス側ではデフォルトでコンパイルを行わない(事前準備済み)。 |
クイックスタート
本ガイドを実行するには、以下の環境が必要です:
- Docker 環境
- サービスを提供する
インスタンスtrn2.48xlarge - コンパイルを行うための任意の
ホストマシンx86_64
Trainium に初めて触れる方は、docs/AWS.md をご参照ください。
1. イメージのビルド
(Neuron SDK 2.32 (neuronx-cc 2.27)、Python 3.13)
git clone https://github.com/RunanywhereAI/trnrt.git && cd trnrt docker build -f docker/Dockerfile \ --build-arg TRNRT_VERSION=$(python3 -c 'import trnrt; print(trnrt.__version__)') \ --build-arg TRNRT_REVISION=$(git rev-parse HEAD) -t trnrt .
2. コンパイルキャッシュの構築
(任意の
ホスト上で実行可能;NeuronCore は不要です;所要時間は数時間)x86_64
OUT=/data/trnrt REV=eb9eb208eb0d988989d07a6a12d0fdeb5f52574a mkdir -p $OUT/nki $OUT/work # コマンドエイリアスの定義(HF_TOKEN 設定を想定) trnrt() { docker run --rm -e HF_TOKEN -v $OUT:$OUT \ -v $OUT/nki:/var/tmp/nki-intermediate-cache trnrt "$@"; } # モデルのコンパイル処理 trnrt compile shapes zai-org/GLM-5.3-Flash --revision $REV --out $OUT trnrt compile decisions --model zai-org/GLM-5.3-Flash --revision $REV --out $OUT trnrt compile capture --out $OUT -- --model $OUT/shapes trnrt compile compile --out $OUT --work-root $OUT/work trnrt compile strip --out $OUT
3. サービス開始
(
インスタンス上で実行し、$OUT/cache および $OUT/nki をコピーした状態)trn2.48xlarge
# モデルウェイトのダウンロード hf download zai-org/GLM-5.3-Flash --revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a \ --local-dir /models/GLM-5.3-Flash # サービスの起動 docker run --rm --privileged --network host --ipc=host \ -v /data/trnrt/cache:/cache \ -v /data/trnrt/nki:/var/tmp/nki-intermediate-cache \ -v /models/GLM-5.3-Flash:/model \ -e NEURON_LIBTORCH_CACHE_ROOT=/cache \ trnrt serve --model /model --port 8000
4. OpenAI クライアントからの呼び出し
from openai import OpenAI # クライアント初期化 client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused") # プロンプト送信(session_id を指定してプレフィックスキャッシュを有効化) reply = client.chat.completions.create( model="glm", messages=[{"role": "user", "content": "Write a haiku about Trainium."}], extra_body={"session_id": "my-session"}, # 会話履歴を同じエンジンのキャッシュ内で維持 ) # 結果の出力 print(reply.choices[0].message.content)
詳細情報
- ドキュメント: deploy、API、configuration
対応するハードウェアとモデル
| ターゲット | ステータス |
|---|---|
| AWS Trainium2, trn2.48xlarge (16 チップ、2 エンジニアクション × TP 32、LNC 2) | ✅ サポート済み |
| GLM-5.3-Flash (320B MoE、アクティブ 18B、FP8、100 万トークンコンテキスト) | ✅ サポート済み |
| その他のオープンソースモデル | 🔜 近日公開(モデルのご要望はお受け可能です) |
注記: TrnRT は GLM-5.3-Flash を起点としていますが、エンジンやキャッシュ機構などはより多くのモデルファミリーに対応できるように設計されています。新規モデルの追加要件は docs/ARCHITECTURE.md をご参照ください。
ベンチマーク結果
SemiAnalysis の AgentX は、実際のコーディングエージェントセッションをシミュレートします。
- 対象:1 つの
インスタンスtrn2.48xlarge - 構成:32 の同時アジレント(エージェント)
- 環境:100 万トークンのコンテキスト設定下での動作測定(1 時間分)
| デコードバッチ | リクエスト/分 | トークン/分 | ユーザーあたりデコード速度 (p50) | 最初のトークン出力(キャッシュあり)(p50) | $/百万トークン(スポット利用) |
|---|---|---|---|---|---|
| 4 | 19.3 | 2.36M | 46.6 | 76.73 s | $0.061 |
| 8 | 25.2 | 3.02M | 29.4 | 28.82 s | $0.047 |
| 12 (デフォルト) | 28.9 | 3.57M | 22.3 | 6.53 s | $0.040 |
- 注釈: 「トークン数」には入力(キャッシュ済み入力を含む)と出力の双方が含まれます。
- 価格情報 (スポット): $8.60/時間(us-east-2 リージョン、2026 年 11 月 3 日時点)。
- キャパシティロック($35.76/時間)を利用した場合、バッチ 12 のコストは百万トークンあたり $0.167 です。
- 詳細: コールドプロンプト時のレイテンシや測定手法については docs/RESULTS.md をご参照ください。
検証結果(現在のビルドコード)
上記の数値は以前のビルドバージョンを用いたものですが、本リポジトリのコードも以下のチェックに合格しています(docs/KNOWN_ISSUES.md 参照)。
- グラフの同等性: デフォルトのバッチ 12 設定でコンパイルされる 157 のグラフすべてについて、全 32 ランクで「EQUAL」と判定。
- 出力結果: 要求された 384 件中、**384 件(100%)**においてビルド元の出力とバイト単位の同一性を確認。
- サービス機能: クイックスタートに記載されている 2 エンジニアクション構成において、エンドツーエンドの動作を確認済み。
仕組みについて
デコード処理はメモリ帯域幅で制限されることなく、むしろ小さな指示命令やカーネル境界、および露出された集合演算(collectives)がボトルネックとなります。 したがって、各デコードメガカーネルは以下の 3 つの原則に従います:
- ワーキングセットを
に保持するSBUF - 2 つの物理コアを対称的に利用する
- 集合演算をカーネル内部に移動させる
詳細なカーネルの実装については docs/MEGAKERNELS.md をご参照ください。
リポジトリ構成
trnrt/ ├── __main__.py # CLI: serve、engine、compile コマンド ├── serve/ # OpenAI API、セッションアフィンなルーター、出力パース処理 ├── engine/ # スケジューラ、プレフィックスキャッシュ、テンソル並列化の実装 ├── models/ # GLM-5.3-Flash 関連:KDA、DSA、mHC、MoE モジュールおよび FP8 ローディング ├── kernels/ # NKI デコードメガカーネルおよびプリフィルカーネル └── compile/ # オフラインコンパイル用:shapes、capture、neuronx-cc、strip docker/ # 提供用およびコンパイル用イメージのビルド定義 tools/ # グラフ同等性ゲート、デバイスチェック、ドキュメントチェックツール tests/ # CPU テストスイート(NeuronCore 不要) docs/ # ガイド、結果データ、カーネルに関するノート
詳細なアーキテクチャについては docs/ARCHITECTURE.md をご参照ください。
開発環境の構築
make dev # テストおよびリンターツールの付いた編集可能インストール(Python 3.13) make check # リンターチェック、タイプチェック、その後 CPU テストスイートの実行
外部リンク
- 開発: docs/DEVELOPMENT.md
- コントリビュート: CONTRIBUTING.md
- サポート: SUPPORT.md
- セキュリティ報告: SECURITY.md
AWS リソース
| リソース | リンク |
|---|---|
| Trainium2 および trn2 インスタンス | aws.amazon.com/ec2/instance-types/trn2 |
| AWS Neuron SDK ドキュメント | awsdocs-neuron.readthedocs-hosted.com |
| NKI (Neuron Kernel Interface) | NKI ドキュメント |
| Neuron 深層学習コンテナ | github.com/aws-neuron/deep-learning-containers |
| ML 用 EC2 キャパシティロック | aws.amazon.com/ec2/capacityblocks |
謝辞およびライセンス
謝辞
- AWS Neuron チーム および Z.ai: NKI、ドキュメント提供および GLM-5.3-Flash のリリースに感謝。
- SemiAnalysis: AgentX および公開トレーシングの提供に感謝。
- TrnRT は他の Apache 2.0 ライセンスプロジェクトから派生したコードを含みます。詳細は NOTICE および THIRD_PARTY_NOTICES.md をご参照ください。
ライセンス
- Apache License 2.0
RunAnywhere によって構築されました。
免責事項: AWS、Amazon Web Services、Trainium、Inferentia および Neuron は、Amazon.com, Inc. またはその関連会社の商標です。本ページに表示されている AWS ロゴは、AWS のアーキテクチャアイコンとして公式に公開されたものです。TrnRT は Amazon Web サービスと提携も承認もなく、独立したオープンソースプロジェクトです。