
2026/01/13 1:20
SCION協会向けに 25 Gbps のワークステーションを構築する
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
改善された概要
本書は、商用ハードウェアを使用してラインレートパケット処理に達する高性能SCION境界ルーター作業ステーションの構築について詳述しています。システムはASUS Pro WS W790E‑SAGE SEマザーボード、Intel Xeon W5‑2455X(12コア、3.2 GHz)と64 PCIe Gen5レーン、およびMellanox NVIDIA BlueField‑2 DPUs(デュアルポート25 G SFP28 NIC、各8 Gbit/s、合計24 Gbit/s)を中心に構築されています。AF_XDP(Linux XDP/Zerocopy)がカーネルネットワーキングスタックをバイパスするために使用され、MTU 1500で約24.6 Gbit/s(約2 Mpps)のスループットが達成されました。ファームウェアはDOCAバンドル 24.46.3048に従ってアップグレードされ、NICはDPUモードからNICモードへ切り替えられ、遅延と複雑さを低減しました。総ハードウェア費用はCHF 3,741.34(約$4,700 USD)でした。
組み立てではPCIeスロットの配置に細心の注意が必要であり、GPUを誤ったスロットに差し込むと「ノーシグナル」になる問題や、CPUが無効化されたM.2 SSDへの対応、NIC温度を約60 °C以下に保つための正確なファン配置が求められました。ASUS AST2600のBMCパスワードバグはipmitoolによる回復が必要でした。
作業ステーションはオフィス環境で展開され、銀行インフラ制限によりTailscaleトンネルを使用してアウト・オブ・バンドBMCアクセスを行います。この構築例は、SCION境界ルーティングが入手可能なハードウェアでほぼラインレートの性能を達成できることを示し、実際のファームウェアと設定に関する教訓も明らかにしています。
本文
SCION 25 Gbit/s ワークステーション
このワークステーションはLGA4677ベースのシステムで、12コアIntel Xeon CPUを搭載し、64チャンネルのPCIe Gen5レーンを3枚のMellanox NVIDIA BlueField‑2 Dual‑25GスマートNICに供給しています。最終的にはSCION Associationが提供する新しい25 Gbit/sテストベンチを実現します。
- 目的 – SCION OSS向けAF_XDPアンダーレイの開発とテスト。データプレーン性能は大幅に改善されたものの、さらなる作業が必要です。
- スケジュール – 数週間にわたるプロジェクト。総費用:CHF 3 741.34(約USD 4 700)(詳細部品リスト以下)。
背景
SCION(Scalability, Control, and Isolation On Next‑Generation Networks)はIETFのドラフト段階にあるBGP代替プロトコルで、BGPの根本的欠点とセキュリティ脆弱性を解決することを目指しています。最終的にはBGPを置き換える可能性もありますが、現実的には共存が想定されます。SCION上で運用すべき重要インフラは以下の条件を満たします。
- パス認証
- 明示的パス制御(例:ジオフェンシング)
- 一貫したレイテンシ特性
- 決定論的フェイルオーバー
瑞士国立銀行は現在、SCIONベースのSSFNを用いてバンクインフラを稼働させており、Anapaya Systems AG の商用100 Gbit/s境界ルータソリューションに依存しています。オープンソース実装(github.com/scionproto/scion)は多くのデータプレーン性能向上を経験しましたが、それでも遅れがあります。
SCION OSS上でビデオ通話などの高帯域幅ユースケースを可能にするには、より高速なAF_XDP境界ルータアンダーレイが必要です。NLnet Foundation の資金提供によりこの取り組みが支援されています。
境界ルータ性能
- 現在のSCION OSS境界ルータ:~400k–500kパケット/秒(1500バイトMTUで約5–6 Gbit/s)。
- これは現代インターネットトラフィックが要求する数百テラビット/秒に比べ極めて低いです。
- 「ストリーム」とは、スレッド間で並列化できずパケット順序を不可逆的に乱すことのない、ソースからデスティネーションへの単一フローです。
Linux ネットワーキングスタック
SCION OSS境界ルータはユーザ空間で動作し、Linuxネットワーキングスタックのみを利用しています。パケットの流れは飛行機の旅に例えると分かりやすいです。
- 空港(NIC受信キュー)
- チェックイン&手荷物(バッファ割当)
- セキュリティ検査(パケットフィルタリング)
- パスポート管理(経路決定・ポリシーチェック)
- ゲート待ち行列(スケジューリング)
- 搭乗(ユーザ空間へコピー)
- 座席割り当て(ユーザ空間バッファ)
高スループットを実現するには、このスタックを迂回し、AF_XDP のようなカーネルバイパス経路を利用する必要があります。
カーネルバイパスオプション
| オプション | 説明 |
|---|---|
| DPDK | NIC をカーネルスタックから除外するユーザ空間フレームワーク。NIC の排他制御が必要。 |
| AF_XDP | Linux ネイティブ機構で、NIC ドライバとユーザ空間の共有メモリリングを通じて高性能パケット I/O を実現。 |
| VPP | DPDK または AF_XDP をバックエンドに持つ高速ベクトル化ユーザ空間パケットプロセッサ。 |
DPDK はピーク性能が高いものの、AF_XDP の方が使いやすさ・保守性・運用単純性で優れており、Go ベースの境界ルータとの相性も良いため採用しました。
AF_XDP 設定手順
- UMEM – 大きなメモリ領域を mmap(可能ならハズページ)。
- リング – fill, completion, TX, RX の各リングを初期化。
- ソケットバインド – AF_XDP ソケットを NIC キューに結び付ける(XDP_ZEROCOPY モードが利用可能なら設定)。
- eBPF/XDP プログラム – 小規模 eBPF プログラムをロードし、パケットを mmapped メモリフレームへリダイレクト。
これによりネットワークスタックを完全にバイパスし、原始的なパケットフレームを境界ルータへ低オーバーヘッドで直接渡せます。
実務上の課題
- VM プロバイダは XDP/AF_XDP(特にゼロコピー)へのアクセス権限を持たないことが多く、ベアメタル環境が必須。
- コンシューマー向けシステムで AF_XDP の ZEROCOPY モードをサポートするものは少なく、専用ハードウェアが必要。
構築計画
目標 – 予算と低騒音要件の範囲内で、単一スレッドで25 Gbit/s を達成。
3つの選択肢を検討:
| 選択肢 | 長所 | 短所 |
|---|---|---|
| 中古ラックサーバ(例:LackRack) | 低価格・入手容易 | 騒音が大きい |
| 中古タワーサーバ | 静音性高く、コスト低め | NIC と PCIe レーンが限られる |
| 自作 | 設定を完全に制御可能 | 高価で労力必要 |
NIC の可用性と予算を評価した結果、自作システムを選択しました。
NIC 選択
- Intel Ethernet 800 系列(E810ファミリー)
- NVIDIA/Mellanox ConnectX‑5/6/7
- Broadcom NetXtreme‑E
- FastLinQ
最終決定: Mellanox NVIDIA BlueField‑2 DPUs – デュアル25 Gbit/sポート、1枚あたり €115。
マザーボード
候補:
- Gigabyte MS03‑CE0
- ASUS Pro WS W790E‑SAGE SE
両者ともに 7 スロットの完全16× PCIe Gen5 とリモート管理機能を備えている。ASUS ボードは入手可能だったため採用。
CPU
- 推奨:Intel Xeon W‑3400 系列(≈CHF 1 600) – 高価
- 実際に選択:Intel Xeon W5‑2455X – 12コア、3.2 GHz ベース、64× PCIe Gen5 レーン、CHF 1 105。
CPU クーラー
- 選択肢:Arctic Freezer 4U‑M、Noctua NH‑U14S DX‑4677
- 選択:Noctua NH‑U14S(静音かつ効果的)
メモリ
- Corsair DDR5 RDIMM キット – 64 GB (4×16 GB)、5600 MT/s、ECC。CHF 536。
ストレージ
- Samsung 990 Pro – 1 TB M.2 2280(ヒートシンク付き)。CHF 101。
電源ユニット
- Corsair RM850e – 850 W。CHF 113。
ケース
- Phanteks Enthoo Pro II (SSI‑EEB)。CHF 170。
ファン
- Noctua NF‑A12x25 G2 PWM(静圧)×2
- Noctua NF‑A14 PWM(全体空気流)×6
部品リスト(合計: CHF 3 741.34)
| コンポーネント | 数量 | 小売業者 | 価格 |
|---|---|---|---|
| ASUS Pro WS W790E‑SAGE SE | 1 | digitec.ch | CHF 962.90 |
| Intel Xeon W5‑2455X | 1 | galaxus.ch | CHF 1106.00 |
| Corsair DDR5 RDIMM 64 GB (4×16 GB, 5600 MT/s, ECC) | 1 | galaxus.ch | CHF 536.00 |
| Corsair RM850e (850 W) | 1 | digitec.ch | CHF 113.00 |
| Samsung 990 Pro w/ Heatsink (1 TB, M.2 2280) | 1 | digitec.ch | CHF 101.00 |
| Noctua NH‑U14S DX-4677 CPU cooler | 1 | digitec.ch | CHF 132.00 |
| Phanteks Enthoo Pro II Server Edition TG (SSI‑EEB) | 1 | galaxus.ch | ~CHF 170.00 |
| Noctua NF-A14 PWM (140 mm) | 6 | digitec.ch | CHF 149.40 |
| Noctua NF-A12x25 G2 PWM Sx2-PP (120 mm, 2‑pack) | 1(2ファン) | digitec.ch | CHF 64.90 |
| Noctua NF-A12x25 G2 PWM (120 mm) | 1 | digitec.ch | CHF 34.90 |
| Mellanox/NVIDIA BlueField‑2 BF2H532C デュアルポート 25G(PCIe 4.0 x8) | 3 | piospartslap.de | CHF 318.09 |
| 25G SFP28 パッシブ DAC ケーブル 0.5 m | 3 | ricardo.ch | CHF 51.15 + CHF 2.00 配送料 |
要約
自作 SCION ワークステーションは、単一スレッドで 25 Gbit/s の AF_XDP ベース境界ルータを実現し、ラインレートでほぼパケットロスゼロかつオフィス環境に適した低騒音性能を提供します。構築は性能・保守性・コストのバランスが取れており、完全な部品リストを示すことで再現性も保証しています。