← 2026-10-21 の一覧へ戻るホーム
Meta の GB{2,3}00 クラスター

2026/10/19 23:23

Meta の GB{2,3}00 クラスター

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

オハイオ州ニューアランビィに設置されたメタ社のプロメーテウス超クラスター（ギガワット規模）が、公式に第一期の運用を開始しました。これは、従来のウェブホスティングから Muse などの先端 AI モデルのトレーニングへと历史性の転換を示すものです。施設は約 100 万個の分散 GPU への拡張を目指しており、Muse Wonder モデルを用いた事前トレーニングにおける有効データ量（goodput）は 85% 超、強化学習においては 90% 超を達成しています。この画期的な成果は、標準的なデータセンターネットワークに加え、最大 100km にわたる GPU 同士の直接通信を可能にする専用バックエンド（BE）イーサネット網といった高度なデュアルネットワークアーキテクチャに支えられており、自動化された障害検出機能、アップグレード時間を 2 時間に短縮するファームウェアバンドル、備品を組み込んだアクティブスライスの採用などによってシステム安定性が維持されています。インフラの信頼性は著しく向上し、中断間の GPU 稼働時間（MTBI）が約 10 万時間を目指しています。

パワー管理および冷却システムは、知的な負荷制限を実現する Dynamo Dimmer フレームワークを活用することで革新され、ラックレベルのバッテリー（BBU）や施設レベルのエネルギー貯蔵装置により、30～40% の負荷変動にも対応しています。冷却システムには、モジュール型のエアアシスタンス液体冷却（AALC）、フリーエア設計、およびクロウドループ型チップ直結液体冷却を採用する専用設計の施設が組み合わされています。オープンコンピュータプロジェクト（IcePack 含む）によるメタ社の持続可能デザインの伝統を受け継ぎ、このサイトは人工知能に特化した高密度環境へと最適化された新たな進化を象徴しています。現在 NVIDIA GB200「Catalina」GPU が搭載され、次期の GB300「Clemente」プラットフォームや間もなく投入予定の Vera Rubin NVL72 チップが加わることで、プロメーテウスは大規模なエネルギー効率とインフラ耐久性において業界基準を新たなレベルに引き上げています。今後、メタ社はサンミゲルプラットフォームを NVIDIA Vera Rubin GPU と統合しプロメーテウスに組み込む計画を進めると同時に、ルイジアナ州リッチランドパリーシュでハイペリオンという新たな超クラスターの建設も着手しています。

本文

Meta「プロメテウス」スーパークラスターの内側：Muse ファミリーの実現を支えるインフラストラクチャー

Meta が基礎モデルの**「Muse ファミリー」**をリリースしたことを機に、それを可能にしたインフラストラクチャー「プロメテウス（Prometheus）」についてご紹介します。オハイオ州ニューアルバニーにあるこの施設は、従来のデータセンターから AI 特化型スーパークラスターへと進化を遂げました。

プロメテウス：ギガワット規模のスーパークラスターの現状

  • スケールの拡大
    • 第一期（フェーズ 1）が完了し、現在は約100 万台の GPUを搭載する規模へ拡張しています。
    • オハイオ州ニューアルバニーに位置する最大の AI インフラプロジェクトです。
    • 2 年前までは Web トランザクションを処理する従来型データセンターでしたが、現在ではファウンダーモデルの訓練拠点として転換されました。
  • 最先端技術の搭載
    • クローズドループ式液体冷却技術を採用し、効率的な運用を実現しています。
    • Muse 基礎モデル（Muse Wonder モデルを含む）や、次世代の AI モデルの訓練に使用されています。

システムの安定性とパフォーマンス

大規模学習ジョブにおいて、単一のホストの問題が全体を停止させるリスクを排除し、以下の高可用性を実現しています。

  • Goodput（有効処理量）の向上
    • 事前学習タスク：85% 以上の goodput を達成。
    • 強化学習（RL）タスク：90% 以上の goodput を実現。
  • ウォールクロック時間（MTBI）の改善
    • 初期運用：約47,000 GPU 時間。
    • ファームウェア修正後の現在：54,000 GPU 時間以上へ引き上げている。
  • 継続的な最適化
    • Meta Superintelligence Labs と連携し、並列化設計や通信アルゴリズムの最適化を継続中。

スーパークラスターのハードウェア構成

プロメテウスでは、数キロメートルに及ぶ光ファイバーで接続された複数の建物からなる**「単一の巨大マシン」**として動作しています。全容量稼働時には約 100 万台の GPU が同期して動きます。

3 つの主要プラットフォーム

1. Catalina（NVIDIA GB200 NVL72）

  • 構成: NVIDIA GB200 NVL72 の Ariel バリヤントを採用。
    • 2 レーカ構成で、各レーカ 36 台の GPU が NVLink で接続され、統一した72-GPU ドメインを形成。
  • 特徴: Open Rack V3（ORv3）高出力レーカ構造を採用し、OCP のオープンハードウェア設計に貢献。
    • GPU 当たり800G の I/O スケールアウトを実現。
    • FLOPS、HBM バンド幅などで H100 に比べ大幅なスケールアップ。
  • 主要仕様
    • GPU: 72 台 NVIDIA Blackwell GPU（HBM3e: GPU 当たり 192 GB）。
    • 計算性能: FP8 で720 PFLOPS（FP4 で 1,440 PFLOPS）。
    • 帯域幅: NVLink ピーク130 TB/s、メモリアクセス総和576 TB/s。
    • 電力: システム全体で約120 kW。

2. Clemente（NVIDIA GB300 NVL72）

  • 改善点: Catalina に比べ、GPU およびプラットフォームレベルでパフォーマンス向上。
    • GPU 当たり HBM 容量を 1.5 倍（192 GB → 288 GB）へ増加。
    • スケールアウト制約が解消され、ConnectX-8 SuperNICs でネイティブに 800G を提供。
    • GPU 対 CPU レシオを 2:1 にすることで、72-GPU ドメイン全体を単一レーカに収容可能に。
  • 冷却: モジュラー式空気 assisted 液体冷却（AALC）または施設用液体冷却（FLC）に対応。
  • 主要仕様
    • GPU: 72 台 NVIDIA Blackwell Ultra GPU（HBM3e: GPU 当たり 288 GB）。
    • 計算性能: FP4 で1 エサ FLOP超。
    • 帯域幅: NVLink ピーク130 TB/s、レーカ電力約135 kW。
    • パフォーマンス向上: GB200 より約 5〜10% の改善。

3. San Miguel（NVIDIA Vera Rubin NVL72）※次世代プラットフォーム

  • 特徴: プロメテウスへの直接統合を計画。GB300 と互換性を持たせつつ、性能と効率をさらに向上。
    • メモリ帯域幅の総和で約 1,500 TB/s。
    • レーカ当たり170 kW 超の高出力全液体冷却計算トレイ。
  • 主要仕様
    • GPU: 72 台 NVIDIA Vera Rubin GPU（HBM4: GPU 当たり 288 GB、ピーク帯域幅19.2 TB/s）。
    • 計算性能: FP4 で2.52 エサ FLOP（FP8 で 1.26 エサ FLOP）。
    • 帯域幅: NVLink ピーク216 TB/s。
    • 効率性: GB300 に比べパフォーマンス対電力効率が10〜20% 向上。

ネットワークアーキテクチャと信頼性工学

大規模 AI 訓練では、ネットワーク自体が計算の一部となります。Meta は建物内および跨りでの通信を最適化しています。

ネットワークファブリックの階層

  • ビル内ネットワーク（Ethernet ベース）:
    • 最多20,736 台の GPUを相互接続。
    • **Disaggregated Scheduled Fabric（DSF）や、現在は非スケジューリングファブリック（NSF）**を採用。
    • Sub-packet レベルマルチパスルーティングとフロー制御でネットワーク擁塞を緩和。
  • アグリゲーションネットワーク（Back-End / BAG）:
    • 建物間（2km〜100km+）をつなぐハブアンドスポーク型ネットワーク。
    • Arista 7800 シリーズと Broadcom Jericho3 セリコンにより、地域ペア当たりPbps 級の帯域幅を提供。
    • 光速の制約を考慮し、Meta Superintelligence Labs と共に最適化を実施。

72-GPU ドメインにおける障害ドメイン設計

  • 故障の影響拡大と冗長性:
    • NVL72 アーキテクチャでは、障害影響半径が従来の NVL8 の 9 倍（72 GPU）に拡大。
    • 各 NVL72 ドメイン内で64-GPU スライスを稼働し、残りの 8 GPU を**spare（予備）**として保持。
    • GPU 障害時は即座に spare が継承するため、ジョブを最後にあるチェックポイントから再開可能。
  • 冗長性の確保:
    • 32,768 アクティブ GPU で動作する場合、予備レーカを含めると総計**523 レーカ（約 37,656 GPU）**が用意される。
    • そのうち約**13%**の容量は冗長性用の spare として確保され、計算コストとは別次元で機能。

体系的な中断削減と信頼性向上

  • 目標: 8K GPU 当たり一日に 2 回の中断（約 100,000 GPU 時間 MTBI）を目指しています。
  • 主な改善策:
    • NVLink シグナル完全性: テレメトリと自動フラグging で弱リンクを隔離・修正。
    • メモリ信頼性: HBM ファームウェア微調整、メモリスクラブリング、誤り補正アルゴリズムの導入。
    • バックエンドネットワーク: 平面トポロジにより個別ケーブル故障からの迂回を実現。
  • 障害回復メカニズム:
    • 並列性感知型障害耐性（PAFT）: 単一レプリカの故障に対し、残クラスターで再実行。
    • チェックポイントリング: 広範囲の障害時に最後のチェックポイントから再開。

ハードウェア成熟化と運用効率化

数万台の GPU を扱うことで浮き彫りになった品質問題への対応がなされています。

  • 迅速なファームウェア展開:
    • 自動化により、10 万台以上の GPU に数時間以内に修正を展開可能（P90 アップグレード時間を 7 時間→2 時間に短縮）。
  • 艦隊ヘルスモニタリング:
    • MTBI や有効容量を追跡し、ソフトウェア・ハードウェアの信頼性改善サイクルを確立。
  • ステスストと認証:
    • NVLink パス診断ストレステスト、電力供給ストレステスト、液体冷却品質ゲートの徹底実施。
    • 複数の製造パートナーとの並列検証による一貫した品質確保。
  • エネルギー最適化:
    • クローズドループ液体冷却を採用し、水の効率的利用とスペース節約を実現。
    • 地域電力事業者や開発者と連携し、クリーンエネルギーとのマッチングやグリッド負担の最小化に取り組む。

未来展望：プロメテウスを超えて

  • 容量拡大:
    • NVIDIA GB300 と Vera Rubin のミックスでスーパークラスターの容量を拡張中。
    • 次世代のSan Miguel プラットフォームを通じて、GB300 と Vera Rubin を補完し、計算ワットあたりの出力を最大化。
  • 新しいスーパークラスター「Hyperion」:
    • ルイジアナ州 Richland Parish に建設される次のプロジェクト。
    • プロメテウスの知見を活かし、ゼロから設計。
    • クローズドループ液体冷却、全グリッド接続（Entergy 社との連携）、次世代ネットワーク設計を備える。

プロメテウスの技術的功績は、今後複雑化するスーパークラスターの設計におけるブループリントとなるでしょう。

同じ日のほかのニュース

一覧に戻る →

2026/10/21 3:29

許認可付きシムシティ

## Japanese Translation: 「Permit Pending」は、プレイヤーの役割を全能な計画者から市町村行政の実態に直面する脆弱な選出された職吏へと転換させることで、都市シミュレーションを再定義します。明確な勝利条件を持つ従来のゲームとは異なり、このサンドボックス体験は市民が市長を罷免するまで無限に続き、成功の鍵はインフラを整備することのみならず、複雑な官僚主義と政治的課題に対応して生き延びるかに依存することが強調されています。すべての建設プロジェクトは必要な審議会の招集、法的レビュー、さらには潜在的な訴訟を引き起こし、霧などに関する懸念を抱える住宅所有者、業界団体、環境保護主義者からの自然な反対を誘発します。プレイヤーは 4 年ごとの再選に直面する 7 議席の評議会において多数派を維持するため、公聴会で譲歩を行わなければなりません。有権者 turnout が高いグループは時間とともに過剰な影響力を行使するため、変動する政治情勢への適応が求められます。ヒートマップなどの診断ツールにより住民の人口統計が可視化され、特定の政策がなぜ反発やゲーム内の新聞「The Gazette」で報じられたスキャンダルへと至るのかを説明します。いくつかの法的訴訟は市長の任期を超えて継続することもでき、インフラストラクチャに関する決定は土地価格、家賃、雇用、税金、サービスにわたって実質的な経済における予期せぬ結果を生み出します。ブラウザベースのサンドボックスであり勝利画面やキャンペーンモードを備えず、最初の訪問後にはオフラインで動作し、プレイヤーは村として新たなスタートを切るか、他人の都市から既存の問題を引き継ぐことができます。

2026/10/21 7:21

連邦当局は、ランサム交渉担当者による ShinyHunters の金銭要求サイト運営を疑っている

## Japanese Translation: # 結論： 調査は驚くべき事実を明らかにしており、主要なランサムウェア集団「ShinyHunters」が、その伸縮サイトの管理を担当する米国の企業やカナダの企業のトップ経営者から直接的な支援を受けていることが判明した。従来の助言とは異なり、これらの仲介人は積極的に交渉を促進し、場合によっては被害者よりも先に機密データの窃取の詳細を知っていることもある。あるカナダの経営者は、脅迫される前に政府機関のファイルが盗まれていたことをFBIに報告しなかった。この深い協力関係は2019年以来進化しており、殺人依頼計画を含む計画や、「Rey」のような現在の指導者を「Ghostbyte」であるDaniel Tobokなどの以前の人物と結びつけるものも含まれている。 このスキャンダルは業界内で重大な利益相反の問題を浮き彫りにしている：ランソムの一部割合を受け取る仲介人は、攻撃を止めるのではなく、結果としてより高い支払いを促すように無意識に動機付けられる可能性がある。起訴はEdward Dubrovskyのような個人や未起訴の米国コンサルタントを対象としており、企業の過失か積極的な共犯が深刻な法的結果をもたらすことを示している。当局は被害者にランソムの支払いを行わないよう明確に警告しており、データは通常二次的な伸縮のために利用可能であり続けるためである。最終的に、この事件は以前会社を支援していた交渉サービスに対する信頼を破壊しており、一部のサイバー犯罪ネットワークが効果的に動作するためには内部の経営者への依存が不可欠であることを証明している。 ## Text to translate: Summary: A disturbing investigation reveals that major ransomware group ShinyHunters receives direct support from high-level executives at U.S. and Canadian firms who manage its extortion websites. Unlike traditional advice, these intermediaries actively facilitate negotiations, sometimes knowing sensitive data theft details before the victims do. One Canadian executive failed to alert the FBI regarding stolen agency files prior to their threatened release. This deep collaboration has evolved since 2019, involving plans for murder-for-hire and linking current leaders like "Rey" to former figures such as Daniel Tobok ("Ghostbyte"). The scandal highlights a critical conflict of interest within the industry: negotiators charging percentages of ransoms may inadvertently incentivize higher payments rather than stopping attacks. Prosecutions are now focusing on individuals like Edward Dubrovsky and uncharged U.S. consultants, demonstrating that corporate negligence or active collusion carries severe legal consequences. Authorities explicitly advise victims against paying ransoms, as data often remains accessible for secondary extortion. Ultimately, this case destroys trust in negotiation services that previously assisted companies, proving that some cybercriminal networks rely entirely on insider executives to operate effectively.

2026/10/20 18:08

DeepInfer：DeepSeek モデル向けの高性能推論フレームワーク

## Japanese Translation: DeepInfer は、NVIDIA SM100 GPU および Huawei Ascend 950 NPU 上でスケールサービング能力を備え、DeepSeek-V4.1-Flash モデルの DeepSeek の本番サービスを支えるオープンソースの高パフォーマンス推論フレームワークです。主に vLLM に構築され、SGLang および TensorRT-LLM を念頭に置いて設計されています。最適化されたカーネル（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang）と、Attention DP、バランスの取れた CP、MoE EP+EPLB、DSpark、信頼度に基づく検証、SWA 有界再生非同期スケジューリング、バッチ不変推論、決定論的サンプリング、構造化出力（regex/JSON スキーマ/EBNF）を含む高度な並列化戦略を支援します。 コア機能は環境変数経由で設定可能であり、DEEPINFER_ENABLE_MTP_VARLEN=1 で DSpark/検証を有効化し、DEEPINFER_USE_NEXTN_DECODE（デフォルト：5）で最大ドラフト長を制御します。デフォルトの V4.1 設定に対しては、DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact と DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 でデコーダー SWA 有界再生非同期スケジューリングを設定します。デフォルトで CPU バッチスケジューリングとデバイス実行のオーバーラップを可能にするため、非同期スケジューリングを有効化し、NVIDIA 上で DEEPINFER_BATCH_INVARIANT=1 でバッチ構成間での同等の結果を実現するバッチ不変推論を活性化します。DEEPINFER_BATCH_INVARIANT=1、DEEPINFER_ENABLE_MTP_VARLEN=0、SamplingParams の固定 seq_seed を使用することで NVIDIA 上で決定論的サンプリングを実現し、SamplingParams に so_args={"schema_type": ..., "schema": ...} を渡すことで生成を regex/JSON スキーマ/EBNF に制限します。 完全な本番環境のセットアップには、専用の KV キャッシュシステムの統合、 disaggregated 形式での prefill/decode 操作の実施、およびデータ並列レプリカ間での負荷分散（初回リリースには含まれていない）が最終的には必要となる可能性があります。ユーザーは Linux、GCC ≥13.0、Python 3.12、CUDA 13（NVIDIA）または CANN 9.2（Ascend）、そして空の Python 3.12 環境の作成、DEEPINFER_ACCELERATOR=nvidia または ascend のエクスポート、および ./build.sh の実行からすぐに始めることができます。オフライン推論はデフォルトで deepseek-ai/DeepSeek-V4.1-Flash-1017 チェックポイントを使用し、初回実行時に Hugging Face キャッシュにダウンロードするか、DEEPINFER_HF_MODEL_DIR を介してオーバーライドします。例コマンドは python examples/offline_inference.py です。パフォーマンスベンチマークは 1 スケールアップドメイン内での prefill に 4 SM100 GPU、decode に 64 を使用して測定されました（再現は run_sweep.sh で可能；詳細は eval/README.md を参照）。このフレームワークは Apache License 2.0 の元でリリースされており、GitHub（https://github.com/deepseek-ai/DeepInfer）上で DeepSeek-AI（2026）に帰属しています。