グーグル第 8 世代 TPU ポートフォリオの大幅拡充発表：TPU 8tx および TPU 8i Max を導入

グーグルは、第 8 世代 TPU（Tensor Processing Unit）ポートフォリオを拡大いたしました。この機会に、1 つの年度内に新型 TPU システムを4 つ投入する史上最多のペースで進化を遂げました。具体的には、機密性のある推論向けの「TPU 8tx」と、大規模コンテキスト窓に対応した高計算密度向けの「TPU 8i Max」を導入いたします。

TPU の進化と現在の活用領域

TPU の歴史と拡大

• 起源: Google 内部の音声認識や言語翻訳などのニーズを motive に、10 年以上前に開発開始されました。
• 成長: 当初は特定用途向けでしたが、現在では約100 社以上の顧客（先端的研究所、トレーディング会社、小売業、大学など）が利用する急成長分野となりました。

活用領域の多様化

第 8 世代 TPU は以下の主要な領域で活用されています：

• Gemini モデル: 学習およびサービング（提供）。
• エージェント型ワークロード：自律的な AI エージェントの実装。
• クラウドインフラストラクチャ: Google Cloud クライアント向けのサービス提供。
• オンプレミス導入: クライアントがデータを置いたデータセンター内に TPU を直接導入可能に。

新型 TPU の性能向上

Google Cloud Next (2024) で発表された「TPU 8t」と「TPU 8i」に加え、今回新たに以下のシステムが登場します：

• TPU 8t: 大規模な学習用（前世代比最大2.7 倍の学習性能）。
• TPU 8i: リアルタイム推論用（コストパフォーマンスが約**80%**向上）。

チップとシステムの革新：「チップを中心にコンピューターを設計」

グーグルは、単なる新しいチップの開発だけでなく、システムとしての統合能力を強化しています。

• チップの設計: 物理法則や製造プロセスの制約下で数十億個のマクロスケールのトランジスタを配置する長期プロジェクトです。
• システムの設計: チップを取り囲む計算資源、ネットワーク、ストレージをどう統合するかという点に注力します。
  • パッケージング方法や高速メモリの選定。
  • 顧客ニーズや研究用途への迅速な対応。

このアプローチにより、専用スーパーコンピュータを数ヶ月で提供できるようになりました。AI ソフトウェアの進化速度に合わせて、ハードウェア環境（パッケージング、ネットワークなど）も柔軟に調整可能にしています。

第 8 世代 TPU ポートフォリオ：4 つのシステムによる完全なカバー

各システムは AI ライフサイクルの異なるフェーズや課題に特化しています。

システム名	主な目的・特徴	対象領域
TPU 8t	巨大な基礎モデル学習向け。 **「Goodput」（消費電力あたりの有用な知能）**を最大化設計。	スケーラブルな学習
TPU 8i	推論エンジン向け。 メモリウォール突破、チップ間通信遅延の最大半減を実現。	リアルタイム推論
TPU 8tx	安全・機密性の高い推論向け。 規制対象機関や固有モデル運用に最適。	機密コンピューティング
TPU 8i Max	大規模コンテキスト窓対応、ラック当たり計算密度最大化。 2 つのチップを単一パッケージ統合。	高計算密度・大規模処理

各システムの詳細機能

🔒 TPU 8tx：機密性とセキュリティに特化

• 目的: 安全かつ機密性の高い推論および小規模学習への対応。
• 導入対象: 規制を受けるエンタープライズや政府機関などが、機密データを扱いつつ最先端モデルを運用する際に最適です。
• セキュリティ技術:
  • TPU 8t と同じ高品質なシリコンを採用しつつ、5 世代目 AMD EPYC CPUと組み合わせます。
  • セキュリティ機能をハードウェア層に直接組み込みています。
  • アクティブ使用中の機密データおよびモデルウェイトが保護され、孤立（isolated）されます。
• パフォーマンス:
  • 低遅延 Boardfly ネットワークを採用し、TPU 8t と比較して約2 倍低い遅延を実現。
  • ほぼ性能ペナルティなしで動作します。
• 用途の柔軟性:
  • 単一システム上でモデルの同時実行とカスタマイズが可能。
  • 私有データを使用したファインチューニングやディストレーション（モデル小型化）、強化学習訓練に対応。
  • 機密データをクラスター間で移動させる必要がなくなります。

🚀 TPU 8i Max：メモリウォール突破と超高密度化

• 課題解決: 数十個の AI エージェントや長時間のビデオデータを処理する際、メモリ帯域幅がボトルネックとなる「メモリウォール」問題を解消。
• デュアルチップ構成: 2 つの TPU 8i チップを単一パッケージに統合しました。
  • 計算能力: 2 倍向上。
  • SRAM と HBM バンド幅: それぞれ 2 倍拡大。
  • これにより、プロセッサは常に必要なデータを保持し、大規模ワークロードのストール（停滞）を防ぎます。
• 高密度化: 既存のラックフットプリント内にシリコンを 2 倍配置することで、データセンターの平方フィートおよびワットあたりの計算能力を大幅に増加します。

すべての開発者への開放：オープンソースと自動化

グーグルは TPU をあらゆる開発者が利用しやすいよう、ハードウェアとソフトウェアスタックの統合を進めています。

主要な取り組みと成果

• 全 PyTorch 開発者への開放:
  • コードの書き換え不要。TorchTPUをオープンソース化し、PyTorch コードおよび Hugging Face モデルが TPU でネイティブ動作します。
  • vLLM や SGLang などの主要推論エンジンとも統合されています。
• 開発ツールの直接連携:
  • 新しいオープンソース TPU エージェントスイート（プレビュー中）により、Claude Code や Cursor などのコーディングツールに直接接続。
  • TPU オンボーディングを数分で自動化し、カスタムカーネルの自動チューニングやボトルネック診断が可能になります。
• ハイブリッドなサービング:
  • 新しいオープンソース XLA サービングエンジンにより、Python で学習させつつ、低遅延 C++ ランタイムで TPU/GPU/CPU をまたいで直接サービングできます。

ベンチマークと効率化の向上

• 業界最高クラスの生産性:
  • InferenceX および AgentX ベンチマークにおいて、実環境での成果が理論値を超えています。
  • コストパフォーマンス指標を達成しつつ、高いモデル精度を維持しています。
• アイドル時間の排除（Agent Compute Engine）:
  • AI エージェントによるステートフルな待機時間（数秒〜数時間）を自動的にサスペンド・再開。
  • 運用インフラコストの削減を実現します。
• メモリ階層の統合（TPU Sync）:
  • チップ HBM、ホスト DRAM、共有ストレージなどを単一の共同設計メモリ階層へ統合。
  • 巨大な KV キャッシュをミリ秒単位で管理し、TTFT (Time to First Token) を 90% 以上削減。

オペレーションの最適化

• Cloud Pathways の一般利用開始:
  • GKE (Google Kubernetes Engine) で利用可能になりました。
  • 単一コントローラーアーキテクチャにより、マルチスライスのオーケストレーションを容易にし、障害への耐性を高めます。
• GKE ダイナミックスライシングの採用:
  • 光学回路スイッチング（OCS）技術を用い、物理ハードウェアと論理的スライスを分離。
  • TPU キューブを動的にスーパーサイズ化またはパーティション分割可能。
  • タスク起動時間を最大5 倍短縮し、障害からの回復を最大4.5 倍加速。

まとめ：次世代 AI インフラの共創

• 共同設計: シリコンアーキテクト、ネットワークエンジニア、コンパイラチーム、Google DeepMind リサーチャーが並行して作業を行い、1 年間に 4 つのシステムをリリースしています。
• AI による開発加速: Google DeepMind の AlphaChip 強化学習システムや Gemini を活用し、チップレイアウト提示を数週間から数時間へ短縮。
• 真の共同設計: グーグルの独自性であり、外部組織からのフィードバックを重視した具体策です。

今後の展開:

• 新しい TPU システムの詳細は、本日午前 9 時（太平洋標準時）に行われる放送を通じてご確認いただけます。
• Google の最新ニュースや製品更新については、ニュースレターへの登録をご推奨いたします。