10GbE ホームネットワークでの動作確保に向けた私の取り組み

アーカイブ
カテゴリ
ブログロール

10 Gb/s 対応イーサネットについて、自宅での導入も可能であると確信に達した頃には、いよいよ本気を出し、ISP から回線を契約し、必要な機材を購入して準備を進める時期が来ました。

既に 2.5 Gb/s の環境は動作していました。アパートメントには構造ケーブル（構造化ケーブル）が敷設されており、各居室の壁には RJ45 ケーブルコンセントが一つ以上設置されており、玄関近くの downstairs のパッチパネルには、壁面の各コンセントに対応するパッチポートが備わっています。引っ越してきた当初は、パッチパネル脇に 2.5 Gb/s スイッチを設置し、そこをハブとして各部屋の機器をつなぐシンプルな構成にしました。もちろん多くの機器は WiFi で利用されていますが、書斎には複数の PC を互いに、また外部ネットワークと接続するための有線バセボンク（メインリンク）が必要でした。

では具体的に何を実行すべきでしょうか。

少々簡略化して説明すると、当初の 2.5 Gb/s 環境は以下の通りでした：

ISP の回線はリビングルームから進入し、自分自身で設定したルーター兼ファイアウォール機（後で詳しく解説します）を経由し、さらに 2.5 Gb/s スイッチを介してメイン WiFi アクセスポイント（AP）と壁面コンセントへと分けられます。 downstairs のパッチパネルには別の 2.5 Gb/s スイッチが設置されており、これはルーター対応の壁コンセントとつなぐポートへ接続されています。また、このスイッチからはさらに一つのポートが書斎の壁コンセントに対応するパッチポートに接続されていました。書斎内では、これらの機器同士を接続するために別の 2.5 Gb/s スイッチが内部ネットワークを担当していました。

もちろんその他の周辺機器（追加の AP など）も配置されていますが、ここでは核心部分に焦点を当てて簡潔に説明いたします。

すべての設備を 10 Gb/s にアップグレードできるでしょうか。最も重要な質問は「壁内の構造ケーブルがカテゴリ 5e なのか、カテゴリ 6 なのか、あるいはさらに高性能なカテゴリ 6A か」ということです。前回の記事でも触れましたが、公式には推奨されていませんが、短距離のカテゴリ 5E でも 10GBASE-T が動作する可能性があります。実際にはカテゴリ 6 であれば最大約 55 メートルまで問題なく動作し、自宅内の配線距離はその範囲内にあると考えられます。さらにカテゴリ 6A は最大 100 メートルまで対応するため、もちろん問題ありません。

残念ながら、ケーブルの種類が正確に分かる見やすい標識は壁の露出部になく、特定することができませんでした。そのため段階的な導入（ステージド・ロールアウト）を行うことにしました。

第一段階として、書斎内部のネットワークを 10 Gb/s に構築することから始めました。主に接続するべき機器は二つ：メインデスクトップ「perry」と、11 インチラック内に設置した Proxmox クラスターです。既存の構成では、ラック上部に一台の 2.5 Gb/s スイッチを置き、それを壁面コンセント、クラスターマシン、そして perry に接続していました。

この段階で Proxmox クラスターを高速内部ネットワーク化することは現実的ではありませんでした。クラスターのマシンはすべて古いモデルで、かつて私が別用途に使っていたミニ PC を「リタイア用」として集めたようなものです。大半がギガビットイーサネット対応であり、わずか一台だけが 2.5 Gb/s です。

しかし、perry を 10 Gb/s にアップグレードすることは重要な目標でした。なぜなら、私自身が最も活動的に使用するのが perry であるからです。また、GPU を独占せずトレーニングや推論作業用の別機器を配置し、これも高速ネットワークを必要とする環境も用意したいと考えていました。

さらに、CPU と GPU が training run の際に十分な熱量を出しているため、発熱を抑えて快適に稼働させたいと考え、DAC（Direct Attach Copper）ケーブルを使うのが適当だと判断しました。結果、安価で管理可能な 10 Gb/s スイッチとして MikroTik CRS305-1G-4S+IN を購入し、壁面コンセントへの接続には単一の 10GBASE-T アダプターを使用しました。ネットワーク上のすべての機器を固有の IP アドレス付与で命名する方針から、このスイッチは「nigel」と名付けました。次に、perry 用として 10 Gb/s SFP+ PCIe カード（Asus XG-C100F）と、両者を結ぶ DAC ケーブルを調達しました。

Proxmox クラスターについては、旧式の非管理型 2.5 Gb/s スイッチ TRENDnet TEG-S5061 を继续使用することに決めました。当初はその価格が Amazon で最も安くて評価も良かったため購入し、アップリンク用の SFP+ 10 Gb/s ポートという重要な機能の存在を完全に忘れてしまっていました。そこで再び DAC ケーブルで MikroTik とつなぎ、書斎内のネットワーク「バセボンク」は 10 Gb/s に完成しました。

もちろん、クラスター内のすべての PC が同時に全速度で通信できるわけではありません（perry だけが 10 Gb/s 対応のため）が、Proxmox マシンすべてから perry に対しフルスループットでの同時通信が可能になりました。iperf3 を使って動作確認を行い、完全に網羅したテストはできませんでしたが、合計約 4 Gb/s のスループットを記録でき、安心感がありました。理論的には 1 Gb/s の二台＋2.5 Gb/s の一台で、最大約 4.5 Gb/s が予想されるためです。

次のステップとして、 downstairs パッチパネルへの接続可能性を確認しました。Ubiquiti の 10G イーサネット対応 USB ドングルを購入し、ラップトップ「laura」を持って downstairs へ降りてテストを行いました。

結果は良好でした！perry と laura を構造ケーブル経由で iperf3 テストさせたところ、laure から perry への送信速度は 10 Gb/s にほぼ達し、perry から laure への受信速度は約 7 Gb/s でした。laure 側の受信速度がやや遅いことに少し不安を抱きましたが、ps コマンドで確認したところ、ksoftirqd というカーネルプロセスが 100% 負荷をかけることが分かりました。これは USB ドングルが USB で接続されているため、PCIe カード（perry に搭載されたもの）よりも毎回の「データ到着」割り込みに対して CPU がより多くの作業を処理する必要があり、単一コアで処理できる速度に限界があったためです。実際、laure は軽量化と長時間バッテリー使用を重視した ThinkPad であり、CPU パフォーマンスは突出して高くありません。そのため 7 Gb/s という壁にぶつかったことになります。

しかし、逆方向の 10 Gb/s スピードが期待通りだったことは、構造ケーブル自体が 10 Gb/s を支えうることを示しており、非常に朗報でした。おそらく短距離のカテゴリ 6 あるいはカテゴリ 6A を使っているか、あるいは奇跡的にカテゴリ 5E でも十分な性能が出た可能性があります。

課題は発熱でした。USB ドングルは動作中に手に持てなくほど熱くなり、 downstairs の MikroTik スイッチ内の SFP+ モジュールもテスト後に触ってみると非常に熱かったため、その点は将来的に注意深く見守る必要がありそうだと考えました（実際、後で再訪したテーマになりました）。

現時点では残りのアップグレードを進める時期でした。 downstairs パッチパネルは単純な選択：すべての接続が RJ45 であり、必要なポートは四つだけなので、MikroTik CRS304-4XG-IN が自然な選択肢となりました。

最後に ISP 側のアップグレードを行いました。提供される BOX は 10 Gb/s ポートが一つしかなく、それも RJ45 の 10GBASE-T タイプです。私は ISP のルーターをあまり信頼しないため、常にその間に自分での管理可能な二ポート小型 PC（Arch Linux を専用環境としてロックダウン）を導入してきました。旧機は双ポート 2.5 Gb/s なのでアップグレードが必要でした。

最終的に Protectli VP2440 に決定しました。これは SFP+ 10 Gb/s ケージが二つ、通常の RJ45（2.5 Gb/s）ポートも二つあるモデルですが、後者は不要でしたが、保護リ社のラインナップで最も安価な選択肢であり、ハードウェアとカスタマーサービスにも常に満足しています。

ただし発熱への懸念がありました。前述のように downstairs の MikroTik 内 SFP+ モジュールはテスト時に非常に熱くなったため、Protectli で二つの SFP+ モジュール（一つ WAN ポート用、もう一つパッチパネルへ向かう壁コンセント用）を搭載すると過熱する可能性が気になりました。幸いにも Protectli は直接問い合わせ可能な会社であり、翌日にカスタマーサポート担当者から「技術部門で確認中」との返信があり、さらに翌日には技術者が「問題なく動作すると確認した」という連絡をいただきました。

頼もしい話でした！それに同社の 30 日間返金保証もあり、決断しました。

数日後、新しいルーターが到着。「reggie」と命名し、通常通り Arch ルーター環境を設定して ISP の BOX と壁コンセントに接続したら、問題なく動作しました！

現在の構成は以下の通りです：

• ISP BOX → reggie ルーターの WAN
• reggie の LAN → 壁面コンセント
• その壁コンセントに対応する downstairs パッチパネルポート → downstairs RJ45 専用スイッチ「nelly」のポート 0
• nelly ポート 1 → 書斎壁コンセントに対応するパッチパネル（他は簡略化のため無視）
• 書斎壁コンセント → nigel のポート 0 に搭載された RJ45 SFP+ モジュール
• nigel ポート 1：DAC カベルで perry ワークステーションの SFP+ ネットワークカードへ
• nigel ポート 2：DAC で旧 TRENDnet 2.5 Gb/s スイッチの SFP+ 10 Gb/s アップリンクへ（Proxmox クラスター用）

同時に、元々ルーター脇にあったメイン WiFi AP「winona」（Ubiquiti U6 Enterprise）を downstairs から書斎へ移動させ、TRENDnet スイッチからハンギングさせる構成に変更しました。

しばらく安定動作した後、winona を再びルーター元の位置に戻すことにしました（より中心部に位置するため WiFi カバレッジが向上）。そのため別の CRS304-4XG-IN（ downstairs パッチパネルと同様の 10GBASE-T MikroTik スイッチ）を取得し、上記トポロジーの一部を以下のように見直しました：

• ISP BOX → reggie ルーターの WAN
• reggie の LAN → 新しいスイッチ「norman」（ポート 0）
• norman ポート 1 → 壁面コンセント（そこから downstairs パッチパネルへ）
• norman ポート 2 → WiFi AP（PoE イネクター経由）

これらはすべてダイニングテーブルそばのサイドボード内に収められており、換気がありません。熱を発生するネットワーク機器にとっては病的なケースに近いと言えますが、実際の発熱状況はどうでしょうか。

私のコンピューター群の状態を把握するために、各マシンに Telegraf を稼働させています（CPU 温度、システム負荷、ディスク容量、CPU/ネットワーク使用量など）。これらは Proxmox VM「varro」上の InfluxDB インスタンスへ統計を送信します（varro という名前はご存じでしょうか）。

当初の設定時からスイッチも監視したいと考えており、MikroTik スイッチは SNMP で統計を公開するため、複数の LLM の助けを借りて reggie 上の Telegraf 構成を拡張し、そのデータも収集して varro へ送るようになりました。

Grafana で各種ダッシュボードを作成しており、その一つがネットワーク機器の温度表示です。まずは reggie（Protectli ルーターで二つの SFP+ ケージがあり、それぞれ 10GBASE-T モジュールを搭載）：

CPU と各 SFP+ モジュールごとの個別温度が表示されています。決して「涼しい」わけではありませんが、正直言って悪くはありません！SFP+ ケージはケースと熱的に結合しているため（実質一つの巨大なヒートシンク）、全体の温度より少し高くなりますが、「焼ける」ほどではありません。今後夏になるにつれてどうなるか様子を見ています（リスボンではここ数日でハートのウェーブがあり、温度が上昇傾向にあります）。

次に norman（MikroTik CRS304-4XG-IN、全ポート原生 10GBASE-T、reggie と同じサイドボード内）：

理想よりも少し熱いです。テスト環境の最高気温 70°C を超えていますが、これは内部温度であり外部環境とは異なります。隣接する reggie が内部で 70°C 未満であることを考えると、おそらく問題ないでしょう（reggie の内部温度は最低でも周囲温度以上だからです）。

両者ともさらに改善の余地はあると考えられます。サイドボードは換気がなく、winona（Ubiquiti U6 Enterprise WiFi AP）もその中で動作しており、これも結構熱を発しています。まずは AP を他处へ移動するのが合理的でしょう。それでも不十分な場合は、サイドボード背面から空気を冷やせる USB 風扇を追加するかもしれません。

次に downstairs パッチパネル隣の switch「nelly」ですが、これも換気のないキャビネット内にありながら、ルーターとは共有していませんが PoE イネクターと他方の WiFi AP「wilbur」（冷却性能が高く Ubiquiti U7 Lite）も収容されています。

全く問題ありません！十分なマージンがあります。

最後にもう一度書斎へ戻ります。nigel（MikroTik CRS305-1G-4S+IN、四ポート SFP+ スイッチ）はスイッチ自体と 10GBASE-T モジュールの温度しか表示されず、DAC は数値を報告しません。特に右側のチャートを参照してください：

驚くべき結果！スイッチ本体は快適な 48°C で安定していますが、SFP+ モジュールは約 93°C で推移しています。これは内部温度であり触れる表面温度ではありませんが、近いと仮定すると、触ると火傷しそうなほど高温です。ラズベリーパイ用貼付ミニヒートシンクを試してみようと考えています。また 11 インチラックの上に設置されているため、熱的にラックに結合させる方法も検討中です。

しかし、これらの若干心配な数値にもかかわらず、システム全体は正常に動作しています！perry で周期性のネットワークテストを Google の 8.8.8.8 ネームサーバーまでエンドツーエンドで実行しており、不具合は見当たりません。perry から reggie への iperf3 テストでは誤り数はほぼゼロです。

動作システムだからといって、変更したいのが人間性です。次に何をすべきでしょうか？

今後どうするか？

正直に言えば、当面のいたずら心は「心配な発熱数値を改善する」ことに限定できそうだと考えています。reggie と norman のサイドボード内では、winona（WiFi AP）を外すだけで改善できるでしょう。PoE 方式なので壁に沿って一本線引きして AP をアートワークの裏に隠すだけです。

nigel のほぼ沸点に近い SFP+ モジュールについては、貼付ラズベリーパイヒートシンクが最初の試みとして適切でしょう。それでも不十分なら冷却ファン付きのものへ升级するかもしれません。消費電力はわずか約 3W ですが、非常に小さい空間に閉じ込められているため過熱します。

より興味深いのは、「次回のアップグレード（40 Gb/s 以上）のときどうするか」という問いです。前回の記事でも触れたように、10GBASE-T はここ 20 年以上続いた RJ45・ツイストペアの世界のほぼ終点です。カテゴリ 8 ケーブルでは理論上 40 Gb/s が動作可能ですが、非常に硬く、曲がり角や壁コンセント裏の狭い空間での配線が困難です。

最適な解決策は光ファイバーへの移行でしょう。ケーブル交換時に現状の不確実性を考慮して、各壁コンセントからパッチパネルへのドロップを少なくともデュアルファイバー（送受信用）で置き換えると、適切に構成すれば最大 800 Gb/s も可能かもしれません。壁コンセントは LC デュプレックスコネクタ（光ファイバー標準で接続しやすい設計）を使用できます。

もし将来を見越したいなら、4 ファイバーあるいは 8 ファイバーケーブルを敷設し、各線のうち 2 本除く分を「暗線」にしておくことも考えられます。これによりさらにアップグレードの余地を残しつつ、追加コストはほとんど発生しません（設置費がケーブル代より遥かに高いため）。

それでも数百ユーロ単位のケーブルドロップコストにプロジェクトオーバーヘッドがかかることを考えると、今すぐにやらなくて済むことは幸運なことだと思います。後方から様子を見る戦略は賢明な選択です。今後 ISP がさらに高速化を開始する頃には、どのような技術変化が起きているか誰も分かりません。

さて、お待ちいただけなかった瞬間へ進みます…

決定的なショット

悪くありません！宣伝されている 10 Gb/s は完全ではありませんが、それに近いです（時折 9 Gb/s を確認しましたが、残念ながらスクリーンショット未取得）。明確に申し上げますと、これは perry から測定した結果であり、データは nigel → nelly → norman の三つのスイッチおよび reggie ルーターをすべて通過しています。reggie から CLI 版 Ookla speedtest アプリで直接テストしても類似の結果が得られ、意外なことに perry よりも約 5% 低い値が出ることがあります（なぜか分かりません）。今後さらに調査しますが、もし原因ご存じの方がいれば教えていただければ幸いです。

これで Hugging Face にモデルをアップロードしたり、他方をダウンロードしたり、大型 uv 環境を同期させたり、最新の Arch ISO を取得したり、音楽をストリーミングしながら、同時に Sara が Netflix を視聴し、Dropbox が同期作業を行ってもすべて円滑に動作します。

素晴らしい！ミッション達成でした。興味深い読み物であり、同様のアップグレードを検討されている方々の参考になれば幸いです。

さて、ここでは私の「全 AI・常時 AI」コンテンツに戻らねばなりません ;-)