
2026/08/25 23:06
OpenAI Jalapeño:Nvidia Blackwell より優れている
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
OpenAI は、Broadcom との協力による約 16 ヶ月の開発(2024 年中盤から開始)を経て、「Jalapeño」という推論専用の ASIC を発表しました。LLM の推論のためにゼロから設計された Jalapeño は、過剰な特殊化ではなく極限までのハードウェア・ソフトウェアのコデザインと一般化に依存しており、推定的デコードや特定のワークロード調整を必要とせず、あらゆるモデル推論シナリオで高い性能を実現しています。
InferenceX スイートを用いた独立したベンチマーク(Hot Chips で実施)により、Jalapeño はトークン毎ワットあたりで Nvidia、AMD、Google のチップを上回ることが確認されました。TSMC の N3P プロセスで作製され、HBM4 メモリを備えるこのチップは、GPU に見られる固定されたレイテンシを排除するために順序変換コアと L1 キャッシュを採用し、MXFP 数値形式およびウェイト定数型シンタリック配列を用いて性能の急激な低下を防いでいます。OpenAI の独自プログラミング言語「Gluon」は、高効率を実現するために直接永続スレッドにマッピングされたハンドチューニング済みカーネルを可能にしています。
システムアーキテクチャは、CPU ホストラック(「Katsu」、AMD EPYC プロセッサ搭載)と ASIC ラック(「Vindaloo」、トレイあたり 16 チップ)から構成されます。この設計により、ハイブリッド銅線/光ネットワークを活用して最大 2,048 ユニットまで柔軟にグローバルなスケールアップが可能です。2025 年 11 月にタプトアウト(A0 ステッピング)され、初版はすぐにデプロイが可能で、タプトアウト直後にスループットの大幅な向上が実現されています。現在ファブ内にある将来の B0 ステッピングでは、効率性が約 25% 向上しており、Nvidia の Rubin チップに比べて優れた消費電力性能を提供します。生産は 2027 年に段階的に増産され、多くの出力は翌年の後半に期待されており、OpenAI パートナーが信頼性データを収集する期間としては 1 月までとされています。
本文
OpenAI「Jalapeño(ジャラペニョ)」ASIC チップ:Hot Chips 2026 で公式発表される実力と革新
OpenAI は、過去数年間にわたり静かに**「Jalapeño(ジャラペニョ)」**という推論向け ASIC チップの開発を進めてきました。ついに Hot Chips 2026 をめざして正式にその実体が明らかになりました。テープアウト(試作品の製造完了)に関する噂が事実であることを確認し、当メディアは OpenAI にチップを実際に検証・ベンチマークを実施する機会を与えてくれました。
🚀 開発スピードと設計哲学
驚異的な開発サイクル
- 発表: 6 月、Broadcom と提携して LLM 推論に特化しゼロから設計されたチッププログラムを発表。
- 期間: 2024 年中期からの開始で、約 16 ヶ月の極めて高速な ASIC 開発サイクルを実現。
- チームの招聘 → マスクデザインの完了までを完遂。
汎用性とパフォーマンス
- コンセプト: 業界屈指のパフォーマンスを発揮しつつ、特定シナリオへの過剰特殊化は避けあらゆるワークロードに対応する汎用チップを追求。
- 対抗: 第 1 世代の競争力不足という潮流に反し、NVIDIA、AMD、Google のすべてのチップを上回るオープンソースモデルでのパフォーマンスを発揮。
- コスト意識: 「パフォーマンスワット比(perf/W)」を設計指針とし、データセンターの電力制約下でもMW 当たりのトークン数を最大化する方針。
📊 パフォーマンスベンチマーク結果(InferenceX)
トークンスループット
- 全機能利用率(All-in utility MW)に基づく結果: Jalapeño はあらゆる競合他社チップを一蹴している。
- 重要点: これらの結果は、マルチトークン予測(MTP)を使わずに達成されています。
- 比較対象の他のチップは、最高構成かつ MTP を活用した結果です。
- Blackwell vs. Jalapeño: Blackwell の性能ワット比において、ほぼすべてのシナリオで優れている。
- 低レイテンシー・高スループットの両面でも卓越。
具体的な数値実績(DeepSeek R1 モデルなど)
- 並列数 1 の条件: ユーザーあたり秒間 700 トokens 以上のインタラクティブ性を実現(STP 単一トークン予測)。
- Kimi-K2.5 や GPT-OSS も同様に動作確認済み。
- 評価結果: GSM8k 評価では NVIDIA チップと同等の結果を確認。
⚠️ 留意事項
- 比較対象: Blackwell ではなく、HBM4 を採用している**Vera Rubin(Rubi n)**が真の競合相手です。
- Vera Rubin はすでに顧客配送開始中ですが、Jalapeño はエンジニアリングサンプル段階。
- Vera Rubin のパフォーマンスワット比は GB200 NVL72 の 5.4 倍とされ、初期立ち上げの比較で Jalapeño が上回るのは当然と言えます。
- モデル制限: 最新オープンソースモデル(DeepSeek V4 Pro や Kimi K3 など)での AgentX 結果は未公開ですが、大規模モデルでのテストも行われています。
🧠 アーキテクチャと設計の革新
分散処理を採らない理由
- プリフィル/デコード分散処理(PDD)不使用: NVIDIA や AMD のような固定された非均質プールの採用を避けた。
- 理由: 生産トラフィックの入力/出力比率は常に変動するため、固定分割はハードウェアの利用率を低下させる。
- 効果: 統一システムにより、ワークロードミックスの変化に柔軟に対応し、均一な高性能プールを維持可能。
- 推測デコード統合: ドラフトモデルと verifier を同じデバイス・ファブリック上に保持し、推測のロカリティを確保。
ハードウェア構成
- メモリ: HBM4を採用。パッケージあたり15.4TB/sのメモリバンド幅を実現(他社アクセラレーターを上回る)。
- ピン速度は HBM4 基準の 10Gbps に達し、NVIDIA の Rubin (9.6Gbps) よりわずかに優位。
- ダイ効率: TSMC N3P プロセスで製造された単一ダイ上で**13.4 PFLOPs(MXFP4)**を発揮(Vera Rubin の 17.5 PFLOPs vs 低 TDP)。
- Jalapeño の TDP は 700W で、計算に重点を置いた設計のためトレーニング向けの高 TDP は必要ない。
- I/O: N3E I/O チップレットにより、ローカル(24 レーン)、グローバル(8 レーン)スケーリングに対応。
コア設計とメモリシステム
- コア: L1 キャッシュ付き順序非依存(OoO)コアを採用。ソフトウェア管理されたスクラッチパッドを使用するため、固定オーバーヘッドを回避。
- メモリエアーキテクチャ: KVCache と重みのメモリアクセスを最適化し、コアと HBM をスライス分割して低レイテンシーローカルビューを提供。
- 結果として、小バッチや異なる形状でも生ピーク FLOPs/バンド幅に近づけることが可能。
💻 ソフトウェアスタック:Gluon と Codex
独自プログラミング環境
- 言語: Triton に構築された OpenAI 独自のカーネル言語「Gluon」。
- PTX 命令や MMA/TMA 命令などの低レベル抽象化を維持しつつ、OpenAI が考案したLinear Layouts代数を導入。
- 開発手法: 「人工知能によるチップ設計加速」を実証。
- AI アシスタントを活用し、SIM D アリアの 8% 削減や行列エンジンエリアの 10% 削減を達成。
- Codex がカーネルエンジニアリングチームなしに機能的かつ効率的なコードを書き、ソフトウェアパイプラインの能力を示す。
実証デモとロードマップ
- 迅速な立ち上げ: A0 ステッピング(初期ロット)での良好な結果から、わずか 9 ヶ月後の B0 ステッピングでは約 25% のパフォーマンスワット比向上を達成。
- 検証環境: 固定幅トレージバスを使用した「Chilisim」シミュレーターを持ち、実ハードウェアと 5% 以内の精度で動作確認可能。
🏗️ システム構成:ラックスケールでの展開
ラック設計(Katsu & Chana)
- ホストラック(Katsu): 16 レイのホスト CPU で構成(AMD EPYC Turin)。各レイに Jalapeño ASIC レイ「Vindaloo」16 レイを接続。
- ASIC ラック(Chana): 128 個の Jalapeño ASIC とスイッチレイで構成。
- 電力消費: ホスト側約 50kW、ASIC 側 130kW で合計約 160kW。
- 製造: 大部分の量産は 2027 年にかけて、大部分の出力は来年終わり頃を計画。
スケーラビリティ(Scale-up)
- 接続数: 最大2,048 個の XPUまでのスケールアップが可能。
- トポロジー:
- ローカルドメイン: ラック内の 128 個 XPU をバックプレーンで接続(帯域幅 4.8Tb/s/XPU)。
- グローバルドメイン: 銅と光のハイブリッド(Optical Circuit Switches)でラック間を接続(帯域幅 1.6Tb/s/XPU)。
- 規模: 最大 16 ラックまでの拡張が可能。
- コスト効率: スケールアップネットワークはシステム全体のコストの約**10%**に留まり、将来の大規模モデル展開を可能にするオプション性を提供。
🌐 業界へのインパクトと今後
競争優位性の源泉
- ハードウェア/ソフトウェア共同設計: 確立されたメーサーシリコンプレーヤーよりも卓越できる frontier ラボ ASIC チームの強み。
- 後方互換性の枷から解放され、クリーンシートのアーキテクチャ決定が可能。
- TCO(トータルコスト・オブ・オーナーシップ): 推測デコードを標準化することでトークン単価が約 3〜5 倍削減され、さらにコスト効果が高まる見込み。
今後の展望
- プログラミングモデルの再定義: OpenAI はカーネルをアセンブリのように手動チューニング(最大 3,000 行)するか、Codex に任せる「メガカーネル」アプローチを採用。
- これにより、完璧なコンパイラーへの依存度低減を示唆。
- 生産性向上: GPT-5.6 Sol のようなモデルは CUDA モートの脅威となりつつあり、NVIDIA 自体の自社 GPU 開発を後押しする役割も果たす可能性。
OpenAI は「Jalapeño」で業界のプログラミングモデルやコンパイラーへの執着が無効化されることを示す決定的な成果を出す可能性があります。量産が始まる 2027 年以降、その真価が明らかになるでしょう。