Show HN: TrnRT – AWS Trainium向けオープンソースのLLM推論エンジン

2026/11/18 1:01

Show HN: TrnRT – AWS Trainium向けオープンソースのLLM推論エンジン

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

TrnRT は、AWS Trainium2 ハードウェア上で動作する画期的な独立型オープンソース推論エンジンで、Apache 2.0 ライセンスの下に提供されています。これにより、AWS との関連性を保たずに柔軟性が確保されます。単一の

trn2.48xlarge
インスタンスから OpenAI 互換 API を公開し、スパースおよび線形注意機構、radix ツリー事前キャッシュ、NKI メgakernels(1 レベルあたり融合核 1 つ)を備え、100 万トークンの大規模コンテキストを管理できます。このエンジンでは、ボックスごとに 32 の論理的 NeuronCores でテンソル並列化された 2 つのエンジンを活用し、同時マルチエージェントをサポートします。現時点では GLM-5.3-Flash モデルをサポートしており(さらにオープンソースモデルが追加予定)、
x86_64
ホスト上で Neuron SDK 2.32 を用いたオフラインコンパイルを行います。ベンチマーク結果により、1 インスタンスが 32 人の同時エージェントを効果的に処理し、スポットプライスを利用した場合、100 万トークンあたり 0.040 ドルというコストで分速 28.9 リクエストの性能を実現することが示されており、オンデマンド料金よりも著しく低くなっています。また、すべての 32 ランクにわたりリファレンスビルドとのバイト単位で同一の出力が得られることで、技術的な信頼性が確認されています。セットアップには Docker、特定のホスト、および SDK バージョンが必要ですが、このテクノロジーは開発者が AWS インフラストラクチャ上で大規模 AI アプリケーションを効率的に実行することを可能にし、性能や精度を犠牲にすることなく導入できます。

本文

TrnRT: AWS Trainium 向け大規模言語モデル推論エンジン

TrnRT は、AWS Trainium 向けの大規模言語モデル(LLM)用オープンソース推論エンジンです。

ハイライト

機能概要
NKI メガカーネルデコード処理において、1 レイヤーあたり 1 つの融合化された カーネルを採用(KDA アテンション、DSA レイヤー、mHC モジュール、MoE FFN)。
100 万トークンコンテキストスパースアテンション(上位 2,048 トークン)とリニアアテンションを使用し、固定サイズのステートで動作。
プレフィックスキャッシュFP8 KV ページに対してラジックスツリーを構築。追放されたページおよびステートチェックポイントをホストメモリに階層化して管理。
1 ボックスあたりの 2 エンジニアクションセッションアフィンなルーターにより、各エンジンが論理的 NeuronCore 32 コアに対してテンソル並列化を実現。
OpenAI APIチャット機能、コンプリション生成、ストリーミング出力、ツール呼び出しに対応。
オフラインコンパイルグラフ構築はすべて CPU ホスト上で行い、提供用インスタンス側ではデフォルトでコンパイルを行わない(事前準備済み)。

クイックスタート

本ガイドを実行するには、以下の環境が必要です:

  • Docker 環境
  • サービスを提供する
    trn2.48xlarge
    インスタンス
  • コンパイルを行うための任意の
    x86_64
    ホストマシン

Trainium に初めて触れる方は、docs/AWS.md をご参照ください。

1. イメージのビルド

(Neuron SDK 2.32 (neuronx-cc 2.27)、Python 3.13)

git clone https://github.com/RunanywhereAI/trnrt.git && cd trnrt
docker build -f docker/Dockerfile \
  --build-arg TRNRT_VERSION=$(python3 -c 'import trnrt; print(trnrt.__version__)') \
  --build-arg TRNRT_REVISION=$(git rev-parse HEAD) -t trnrt .

2. コンパイルキャッシュの構築

(任意の

x86_64
ホスト上で実行可能;NeuronCore は不要です;所要時間は数時間)

OUT=/data/trnrt REV=eb9eb208eb0d988989d07a6a12d0fdeb5f52574a
mkdir -p $OUT/nki $OUT/work

# コマンドエイリアスの定義(HF_TOKEN 設定を想定)
trnrt() { docker run --rm -e HF_TOKEN -v $OUT:$OUT \
  -v $OUT/nki:/var/tmp/nki-intermediate-cache trnrt "$@"; }

# モデルのコンパイル処理
trnrt compile shapes zai-org/GLM-5.3-Flash --revision $REV --out $OUT
trnrt compile decisions --model zai-org/GLM-5.3-Flash --revision $REV --out $OUT
trnrt compile capture --out $OUT -- --model $OUT/shapes
trnrt compile compile --out $OUT --work-root $OUT/work
trnrt compile strip --out $OUT

3. サービス開始

(

trn2.48xlarge
インスタンス上で実行し、$OUT/cache および $OUT/nki をコピーした状態)

# モデルウェイトのダウンロード
hf download zai-org/GLM-5.3-Flash --revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a \
  --local-dir /models/GLM-5.3-Flash

# サービスの起動
docker run --rm --privileged --network host --ipc=host \
  -v /data/trnrt/cache:/cache \
  -v /data/trnrt/nki:/var/tmp/nki-intermediate-cache \
  -v /models/GLM-5.3-Flash:/model \
  -e NEURON_LIBTORCH_CACHE_ROOT=/cache \
  trnrt serve --model /model --port 8000

4. OpenAI クライアントからの呼び出し

from openai import OpenAI

# クライアント初期化
client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")

# プロンプト送信(session_id を指定してプレフィックスキャッシュを有効化)
reply = client.chat.completions.create(
    model="glm",
    messages=[{"role": "user", "content": "Write a haiku about Trainium."}],
    extra_body={"session_id": "my-session"},  # 会話履歴を同じエンジンのキャッシュ内で維持
)

# 結果の出力
print(reply.choices[0].message.content)

詳細情報


対応するハードウェアとモデル

ターゲットステータス
AWS Trainium2, trn2.48xlarge (16 チップ、2 エンジニアクション × TP 32、LNC 2)✅ サポート済み
GLM-5.3-Flash (320B MoE、アクティブ 18B、FP8、100 万トークンコンテキスト)✅ サポート済み
その他のオープンソースモデル🔜 近日公開(モデルのご要望はお受け可能です)

注記: TrnRT は GLM-5.3-Flash を起点としていますが、エンジンやキャッシュ機構などはより多くのモデルファミリーに対応できるように設計されています。新規モデルの追加要件は docs/ARCHITECTURE.md をご参照ください。


ベンチマーク結果

SemiAnalysis の AgentX は、実際のコーディングエージェントセッションをシミュレートします。

  • 対象:1 つの
    trn2.48xlarge
    インスタンス
  • 構成:32 の同時アジレント(エージェント)
  • 環境:100 万トークンのコンテキスト設定下での動作測定(1 時間分)
デコードバッチリクエスト/分トークン/分ユーザーあたりデコード速度 (p50)最初のトークン出力(キャッシュあり)(p50)$/百万トークン(スポット利用)
419.32.36M46.676.73 s$0.061
825.23.02M29.428.82 s$0.047
12 (デフォルト)28.93.57M22.36.53 s$0.040
  • 注釈: 「トークン数」には入力(キャッシュ済み入力を含む)と出力の双方が含まれます。
  • 価格情報 (スポット): $8.60/時間(us-east-2 リージョン、2026 年 11 月 3 日時点)。
    • キャパシティロック($35.76/時間)を利用した場合、バッチ 12 のコストは百万トークンあたり $0.167 です。
  • 詳細: コールドプロンプト時のレイテンシや測定手法については docs/RESULTS.md をご参照ください。

検証結果(現在のビルドコード)

上記の数値は以前のビルドバージョンを用いたものですが、本リポジトリのコードも以下のチェックに合格しています(docs/KNOWN_ISSUES.md 参照)。

  • グラフの同等性: デフォルトのバッチ 12 設定でコンパイルされる 157 のグラフすべてについて、全 32 ランクで「EQUAL」と判定。
  • 出力結果: 要求された 384 件中、**384 件(100%)**においてビルド元の出力とバイト単位の同一性を確認。
  • サービス機能: クイックスタートに記載されている 2 エンジニアクション構成において、エンドツーエンドの動作を確認済み。

仕組みについて

デコード処理はメモリ帯域幅で制限されることなく、むしろ小さな指示命令やカーネル境界、および露出された集合演算(collectives)がボトルネックとなります。 したがって、各デコードメガカーネルは以下の 3 つの原則に従います:

  1. ワーキングセットを
    SBUF
    に保持する
  2. 2 つの物理コアを対称的に利用する
  3. 集合演算をカーネル内部に移動させる

詳細なカーネルの実装については docs/MEGAKERNELS.md をご参照ください。

リポジトリ構成

trnrt/
├── __main__.py   # CLI: serve、engine、compile コマンド
├── serve/        # OpenAI API、セッションアフィンなルーター、出力パース処理
├── engine/       # スケジューラ、プレフィックスキャッシュ、テンソル並列化の実装
├── models/       # GLM-5.3-Flash 関連:KDA、DSA、mHC、MoE モジュールおよび FP8 ローディング
├── kernels/      # NKI デコードメガカーネルおよびプリフィルカーネル
└── compile/      # オフラインコンパイル用:shapes、capture、neuronx-cc、strip
docker/           # 提供用およびコンパイル用イメージのビルド定義
tools/            # グラフ同等性ゲート、デバイスチェック、ドキュメントチェックツール
tests/            # CPU テストスイート(NeuronCore 不要)
docs/             # ガイド、結果データ、カーネルに関するノート

詳細なアーキテクチャについては docs/ARCHITECTURE.md をご参照ください。

開発環境の構築

make dev     # テストおよびリンターツールの付いた編集可能インストール(Python 3.13)
make check   # リンターチェック、タイプチェック、その後 CPU テストスイートの実行

外部リンク


AWS リソース

リソースリンク
Trainium2 および trn2 インスタンスaws.amazon.com/ec2/instance-types/trn2
AWS Neuron SDK ドキュメントawsdocs-neuron.readthedocs-hosted.com
NKI (Neuron Kernel Interface)NKI ドキュメント
Neuron 深層学習コンテナgithub.com/aws-neuron/deep-learning-containers
ML 用 EC2 キャパシティロックaws.amazon.com/ec2/capacityblocks

謝辞およびライセンス

謝辞

  • AWS Neuron チーム および Z.ai: NKI、ドキュメント提供および GLM-5.3-Flash のリリースに感謝。
  • SemiAnalysis: AgentX および公開トレーシングの提供に感謝。
  • TrnRT は他の Apache 2.0 ライセンスプロジェクトから派生したコードを含みます。詳細は NOTICE および THIRD_PARTY_NOTICES.md をご参照ください。

ライセンス

  • Apache License 2.0

RunAnywhere によって構築されました。

免責事項: AWS、Amazon Web Services、Trainium、Inferentia および Neuron は、Amazon.com, Inc. またはその関連会社の商標です。本ページに表示されている AWS ロゴは、AWS のアーキテクチャアイコンとして公式に公開されたものです。TrnRT は Amazon Web サービスと提携も承認もなく、独立したオープンソースプロジェクトです。

同じ日のほかのニュース

一覧に戻る →

2026/11/18 6:11

Java4Shell:Base64データを処理する際に発生するOpenJDKのRCE

## Japanese Translation: 「Java4Shell」と名付けられた重大な脆弱性が、Java コンパイラの Base64 _decoder_ のヒープメモリ破損を悪用し、OpenJDK でリモートコード実行を可能にする。この欠陥は、AVX-512 VBMI ハードウェアアクセラレーションを使用する x86-64 ビルドに限定して発生する:JIT コンパイラの C2 内在関数における `bzhiq` および `evmovdqub` の計算ミスが、入力長が -1 または -2 にアンダーフローすると、範囲外書き込みを引き起こす可能性がある。攻撃者は「Heap Feng Shui」技術を採用し、G1 ゴーブルトコレクションャの領域に対して「spray and pray」を用いてメモリを再配置し、安全な固定バイト書き込みをコードキャッシュを通じて任意のコード実行へと変える。この脆弱性は OpenJDK 17.0.6 およびそれ以降、また Oracle Java SE のいくつかのリリース(8u511b33-perf、17.0.21.0.3、21.0.13.0.3、25.0.5.0.3、および 27.0.1.0.3)に影響を与える。Amazon Corretto、Eclipse Temurin、Microsoft Build of OpenJDK、Azul Zulu、BellSoft Liberica、SAP SapMachine、Red Hat OpenJDK、Oracle OpenJDK、ならびに JDK 用の Oracle GraalVM を含む多数のディストリビューションが影響を受けている。特に注目すべきは、ARM64 CPU は AVX-512 サポートを有しないため影響を受けない点である。リモート悪用はネットワークレイテンシ(RTT)およびジッターに敏感であり、ターゲットと同じリージョンにある VM をレンタルして実施するなどの方法により、TCP/IP 構成への依存だけではなかったことが実証されている。Proof-of-concept はウォームアップループ後に誤った形式の入力(「64 × "A" + "="」)をデコードすることによってトリガーされ、オフセット 50–111 で 62 バイトが書き換わる。Oracle と OpenJDK は 2026 年 11 月 17 日午後 1 時(PT)にパッチをリリースした。パッチ適用までの間、組織は `-XX:-UseBASE64Intrinsics` または `-XX:UseAVX=2`(後者は x86-64 ホスト上のみ)といった JVM フラグを用いてハードウェアアクセラレーションを無効化することでリスクを軽減できる。この事案は、高度な CPU 機能を監査し、Java ランタイムを最新の状態に保つことの重要性を示している。本調査、報告書、およびエクスプロイトの改善は Quang Luong と Jenish Rakholiya によって行われ、アートワークは Michal Zalewski による。

2026/11/18 7:13

クアドラントのフランスからの撤退:石炭坑のカナリア

## Japanese Translation: スイス非営利財団の Quad9 が先月、著作権侵害ドメインをブロックできないことに対する裁判所による破産に近い日次罰金の命を受け、2 月 14 日以降にフランスから無料公開 DNS リゾルバー(9.9.9.9)を即時撤回すると発表しました。この決断により、政府機関や教育機関、病院、事業会社を含むユーザーおよび組織は、直接的な通知メカニズムが欠如しているため、設定を更新するか、インターネット接続の喪失という説明のない状態に追い込まれます。この状況は、Cloudflare がオランダの裁判所による命令にともない 2027 年 1 月初めまでに同様の問題に対して複数の主要プロバイダー(Google の 8.8.8.8 や Cisco の OpenDNS を含む)に対処する罰則を脅かしたことに続き、フランス、ポルトガル、ベルギーから一時的に OpenDNS リゾルバー(1.1.1.1)を撤回した過去の行動と鏡のように似ています。技術に詳しいユーザーが制限を迂回することは可能であっても、より広範な影響には、兆単位の日常クエリを処理する大きな工学上の課題や、グローバルサービスに対して地域的なブロック命令を適用することでオープンなインターネットを分断化するリスクが含まれ、その結果として違法かどうかにかかわらずドメインに波及被害を引き起こします。

2026/11/18 4:50

jQuery 4.1.0

## Japanese Translation: 2026 年 11 月 17 日、jQuery はテーマ「火炬の引き継ぎ(Passing the Torch)」の下にバージョン 4.1.0 および 3.8.0 をリリースし、配列境界エラーを回避するためループを改修し、古来の `getElementsByTag/ClassName` セレクターではなく現代の `querySelectorAll` メソッドを優先するなどコアアーキテクチャにおいて画期的な転換を図りました。このリリースでは、非同期処理の強化のために `jqXHR` に `responseURL` フィールドを追加し、代替的な `completeCallback` API をサポートするとともに、`createElementNS` による XML ドキュメントサポートも向上させています。重要なセキュリティ向上として、Safari 27 の正規表現バグおよび識別子マッチングにおける ReDoS 脆弱性の修正が含まれています。機能的な更新としては、シリアライゼーションにおいてフォームに関連するカスタム要素を許可し、SVG テキスト抽出およびアニメーションに関する不具合も解消しました。このアップデートでは、`.data()`(SVG 向け)やアニメーション署名などのテストカバレッジが拡大されるとともに、TuxCare を通じた商用サポートが追加され、ドキュメントの修正も行われています。今後のバージョンに向けては、おそらく `jQuery.uniqueSort` における重複削除の最適化とカスタムフォーム要素の処理にさらに注力し、開発者へのパフォーマンス向上とブラウザ互換性改善を約束しながらエンドユーザーにより滑らかな体験を提供することを予定しています。