日本語翻訳:

Meta は「Vistara」という技術を発表しました。同技術はカスタム ASIC と RISC-V プロセッサを組み合わせ、ほぼ 40% のサーバーフロートがハードウェア制限により DDR5 メモリへのアップグレードができないという重要なハードウエア上のジレンマを解決します。これにより数百万機のサーバーが苦戦しており、ワークロードは 3〜5 年間持続する一方、メモリの寿命は 7〜10 年であることが課題となっています。Vistara では、この機能性あるハードウェアを廃棄するのではなく、古いサーバーから DDR4 DIMM を取り外し、CXL 2.0/1.1 準拠のカスタム ASIC（PCIe Gen5 x16 インターフェースを介して接続）を通じて新しいマシンに設置することで、容量を共有するプールを構築します。各システムでは、AMD Turin プロセッサを搭載した MemServer チェスの中で、チップあたり最大 256 GB（64 GB DIMM を使用）、ローカル DDR5 メモリとして 768 GB を統合します。各 Vistara ASIC は、2 つの独立した 72 ビット DDR4 チャネルを通じて最大 3,200 MT/s の速度をサポートし、熱負荷を管理するためにDirected Airflow と高容量ファンを使用します。ソフトウェアは、DDR4 メモリをローカル DRAM と区別された CPU を持たない NUMA ノードとして扱い、Linux CXL ドライバに対するカスタム調整（すでにアップストリームカーネルに含まれているか、または包含に向けたもの）を実装しています。 disaggregated ML inference、ビッグデータ処理（例：Spark および Hive）、データベース、分散キャッシュ、CI/CD パイプラインにおいて数百万のサーバーで既に大規模に展開されている Vistara は、テラバイトおよびペタバイト級のデータセットに対して CXL メモリの余剰容量を増やすことで OOM 事件を軽減します。これは、再起動とリソース断片化によるオーバーヘッドを低下させるとともに、OOM クラッシュを防ぐことでジョブの失敗率を 33% 削減し、 disaggregated inference ワークロードにおいて必要なサーバー数を最大 25% 削減することを可能にします。結果として、Vistara は即座で高価なハードウェア置換なしに Meta の信頼性を高めコストを削減し、数百万のサーバーが効果的に重要なデータベースと分散キャッシュをサポートし続けることを可能にします。

メタ、独自 ASIC「Vistara」でサーバーコスト削減とメモリ再利用を実現

成果概要

インフラコスト削減: 分散推論タスクにおいて必要なサーバー数を最大で 25% 削減可能になりました。
実用化の早さ: 同技術はすでに数百万台規模のハイパースケールインフラにて、推論システムやビッグデータ処理など多様なワークロードで運用されています。

Vistara 技術の仕組み

メモリ共有の実装方針

課題の認識: メタは自社のサーバー Fleet の約40% でメモリの増設を行っていない現状を認め、より長期的なメモリ有効利用期間（7〜10 年）への対応が必要との見解です。
再利用戦略:
- 廃棄予定の旧サーバーから取り出したDDR4 DIMM を回収。
- これを DDR5 に依存する新サーバーに搭載し、物理ホストを超えたメモリプール化を実現しています。
- 結果として、複数のホストを横断してリソースを共有する仮想的なサーバーを構築可能にしました。

独自 ASIC「Vistara」の役割

必要性: 市販の CXL 製品は DRAM とコントローラーをバンドルしており、再利用不可能であることが多く、さらに古い DDR4 をサポートしないケースが目立つため、独自のソリューションが必要でした。
アーキテクチャ:
- 独自 ASICとして開発され、一対の専用 RISC-V プロセッサで駆動しています。
- PCIe Gen5 x16 インターフェースを介して DDR4 メモリをホストプロセッサに橋渡しします。
性能仕様:
- チップあたり最大 3,200 MT/sの速度で動作。
- 72 ビットの独立したメモリチャンネル（DDR4）を統合し、64 GB DIMM を使用すれば最大 256 GBの容量をサポートします。

ハードウェア構成と冷却設計

MemServer デバイス

Vistara ハードウェアは「MemServer」と呼ばれる専用デバイス内に搭載されています。
ベースプロセッサ: AMD Turin プロセッサ（158 コア、316 スレッド）。
メモリ構成:
- ローカル: 768 GB の DDR5 メモリ
- CXL 接続: Vistara ASIC を介した 256 GB の DDR4 メモリ

冷却システム

高密度メモリと CXL デバイスによる熱負荷増大に対応するため、専用設計が行われています。
チェーシスの後方アクセス可能な専用スロットへ配置され、高容量ファンによる指向性気流を採用しています。
涼しい空気を Vistara モジュールの直上へと案内し、重負荷下でも安定動作を確保します。

ソフトウェア実装とドライバー

NUMA ノードとしての扱い: DDR4 メモリを OS は「CPU のない独立した NUMA ノード」として提示し、ローカル DRAM ノードとは分離させています。
利用順序:
1. まず利用可能な全ローカル DDR5 を使い切る
2. 次に必要に応じて CXL 機能付きメモリを利用
ドライバー対応: Linux CXL ドライバーの独自改修により実装されています。
オープンソース方針: 使用されているすべてのコードは、すでにアップストリームカーネルに含まれているか、近い将来に包含予定のものとのことです。

具体的なメリットと課題回避

パフォーマンス向上

OOM イベント対策:
- スパークや Hive などのビッグデータツールではテラバイト規模のデータを扱うため、数百ギガバイトのメモリが必要になる場合があります。
- メモリ不足（OOM）はビジネス分析や ML パイプラインに障害をもたらすリスクを軽減します。
オーバーヘッド削減:
- タスク失敗頻度と再実行オーバーヘッド、およびリソースフラグメンテーションを合わせて33% 削減しました。
- システム信頼性を大幅に向上させます。

コスト回避

サーバー数の削減（最大 25%）に加え、メモリ価格高騰（「RAM アポカリプス」）からの回避も図られています。

メタが独自ブリッジチップで旧サーバーのRAM を再利用します