Jamesob のローカル SOTA LLM 実行ガイド：予算別構築・最適化完全版

概要と注意

• 本文の作成について: この記事のメイン部分（表を除く）は、AI によって生成されたものではありません。
• 対象読者: Dario や Elon Altman の動向に不快を感じ、次世代コンピューティング技術をローカルで動作させたい人。
• 予算選択肢:
  • ポケットに刺さる程度の資金（約 2,000 ドル）
  • 本気を出すための大規模構築（約 4 万ドル）

目次

1. TL;DR
2. リソースリンク
3. 予算別アプローチ
   • 約 $2,000（2,000 ドル）の構築
   • 約 $40,000（4 万ドル）の構築
4. 追加情報とハードウェア選定
   • その他のアプローチ：DGX クラスターへの拡張
   • ベースシステム (Base System)
   • GPU 構成
5. セットアップ手順と最適化
   • モデルウェイトの蓄積
   • モデルの実行方法
   • PCI スイッチの正しく動作させるための設定
     • BIOS 設定 (ROMED8-2T)
     • Redriver のゲイン低減
     • SAS ケーブルの適切な選定
   • カーネルおよび GRUB パラメータ調整
   • ACS の無効化 (P2P 維持のため)
   • GPU の電力制限 (110V回路向け)
6. ベンチマーク結果

TL;DR

• runners/

  : GLM-5.2-594B の vLLM Docker 設定で、コンテキスト長 46 万 tokens、推論速度約80 tokens/秒。

• runners/stt

  : Whisper-large-v3 を使用した即座に動作する音声認識 (STT) 構成。

• tools/

  :

  measure-gpu-speed.sh

  を用いた P2P バンド幅・レイテンシベンチマークスクリプト。

リソースリンク

予算別アプローチ

約 $2,000（2,000 ドル）の構築

• 構成: RTX 3090 × 2枚 (合計 48GB VRAM)。
• 実行可能なモデル: Qwen3.6-27B（非常に優れた性能）。
• 追加機能: Whisper-large-v3 を利用した最新鋭の音声認識 (STT) が動作可能。
  • ローカル環境での STT は、ホスティングサービスに比べ、不快感なく利用できるという利点がある。
  • 設定ファイルは

    ./runners/stt

    （VRAM 11GB あれば動作）にある。

約 $40,000（4 万ドル）の構築

• 構成: RTX PRO 6000 Blackwell (RTX6KPRO) × 4枚。
  • 各 GPU: 96GB VRAM、合計 384GB VRAM。
  • パフォーマンスは Claude Opus に極めて近いレベルに到達可能。
• 推奨モデル (2026/7):

  GLM-5.2-Int8Mix-NVFP4-REAP-594B

  (

  Runner

  構成)。

追加情報とハードウェア選定

その他のアプローチ：DGX クラスターへの拡張

• 注意点: 次の推奨事項は著者の個人的な見解です。他の正当な資金配分方法も存在します。
• 代替案: RTX6KPRO×4 を購入する代わりに、予算の大半を割り当てて**DGX Spark クラスター (合計 512GB VRAM)**を構築。
  • Qwen3.7-27b などを用いて「頭の大きいスローなブレイン」として単純作業を処理させる構成が可能。

ベースシステム (Base System)

EPYC システムの一部品として EBid で購入した構成（合計 $5,587）。

GPU 構成

c-payne PCIe Gen4 スイッチ用サブ BOM

Microchip Switchtec PM40100 を採用した自作 PCI スイッチの部品一式（合計 ~$1,330）。

セットアップ手順と最適化

モデルウェイトの蓄積

• 保存場所: ZFS ファイルシステム上の

  ~/storage

  。2 台の 8TB ドライブ間でレプリケーションを実施。
• ダウンロード方法:

  hf download <model-name> --local-dir ~/storage/<model-name>
  

モデルの実行方法

• 各モデルに対して特定のディレクトリを確保し、Docker コンテナ内で動作するように

  docker-compose.yml

  を用意（

  ./runners/

  に格納）。
• 実行時にローカルにキャッシュしたウェイトをマウント：

  ~/storage/models
  

• アクセスポイント: OpenCode VM (http://clank.j.co:5000) を介してアクセス。
  • DNS サーバーで

    clank.j.co

    を指すか、IP アドレス (

    http://<llm-machine-ip>:5000

    ) で直接接続可能。

Harness（運用環境）の構築

• VM の

  ~/src

  ディレクトリに対して tmux セッションを作成するアプリケーションを構築済み。
• 推論マシンの HTTP API にバックスアップされる OpenCode インスタンスを実行中。
• ツール活用例:
  • Web ブラウジング/検索:

    camofox

    ,

    kagi.com

    API,

    searXNG

  • コミュニケーション: Telegram ボット
  • ソースコード管理: ローカルプライベート Gitea インスタンス
• 沙漏ボックス化: すべての動作はサンドボックス化された VM 内で完結。ホストシステムへの通信は共有ファイルシステムマウントのみを通じて行われるため、インストールや「Go ham」な操作が可能。

PCI スイッチを正しく動作させるための設定

BIOS で以下の調整を行うことで、速度のダウンレギュレーションを防ぐ。

BIOS 設定 (ROMED8-2T)

Redriver のゲイン低減

• c-payne のツールを使用してゲインを「lvl 3」に低減した。
• 重要: ゲインレベルは SAS コネクターケーブルの長さの関数であり、最も繊細な調整部分。

サイバスの適切な選定

• Amazon で同様のケーブルを購入したが、わずかな差異が問題を引き起こし再注文が発生した。
• 注意: 必ず製品指定を確認して購入すること。

カーネルおよび GRUB パラメータ調整

NCCL のハング問題を回避するため、以下の設定を行う。

1.

/etc/default/grub

GRUB_CMDLINE_LINUX="iommu=off amd_iommu=off nomodeset"
sudo update-grub

• iommu=off

  を省略した場合、マルチ GPU P2P で NCCL がハングする。

2. nvidia_uvm P2P 修正:

echo 'options nvidia_uvm uvm_disable_hmm=1' | sudo tee /etc/modprobe.d/uvm.conf
sudo update-initramfs -u

ACS の無効化 (P2P 維持のため)

ACS が有効（デフォルト）の場合、P2P トライフィックが CPU ルートポートを通過して跳ね返り、スイッチのメリットが失われる。パッチ済みカーネルが必要になる

pcie_acs_override

スクリプト:

/usr/local/bin/disable-acs.sh

#!/bin/bash
if [ "$EUID" -ne 0 ]; then
  echo "ERROR: root として実行する必要があります"
  exit 1
fi

for BDF in $(lspci -d "*:*:*" | awk '{print $1}'); do
  setpci -v -s ${BDF} ECAP_ACS+0x6.w > /dev/null 2>&1
  if [ $? -ne 0 ]; then
    continue
  fi
  echo "ACS を $(lspci -s ${BDF}) で無効化"
  setpci -v -s ${BDF} ECAP_ACS+0x6.w=0000
done

起動時実行 (systemd oneshot): ファイル:

/etc/systemd/system/disable-acs.service

[Unit]
Description=Disable PCIe ACS for GPU P2P
After=multi-user.target

[Service]
Type=oneshot
ExecStart=/usr/local/bin/disable-acs.sh

[Install]
WantedBy=multi-user.target

検証:

• lspci -vvv | grep ACSCtl

  : すべての項目がマイナス記号 (

  -

  ) で表示されていること。

• nvidia-smi topo -m

  : 全ての GPU 間に PIX が表示されていること（PHB/NODE でないこと）。
  • 測定は

    ./tools/measure-gpu-speed.sh

    を使用して行うと簡単。

GPU の電力制限 (110V回路向け)

220V 回路的なリスクを避けるため、単一の 110V 回路で動作させるが、電力規制を行う（Persistence モード + システム起動時の適用）。

sudo nvidia-smi -pm 1
sudo nvidia-smi -pl 350    # GPU 各々 350W (デフォルト 600W)

• 消費電力:
  • ロード時: 1,400W (GPU 合計) + システム約 280W = 計 1,680W。
  • 前段階 (Single PSU 時代): 計 1,320W (カード 260W × 4 + システム)。
• 検証コマンド:

  nvidia-smi --query-gpu=index,power.limit,power.draw --format=csv
  

ベンチマーク結果

P2P バンド幅およびレイテンシ:

• アップストリーム (CPU へ): Gen4 x16 (~30 GB/s)
• スイッチ介した P2P:
  • バンド幅：片道 27.5 GB/s / 双方向 50.4 GB/s
  • レイテンシ: 0.37 – 0.45 µs (すなわち Gen4 ラインレート)
• 備考: ASPM がアクティブな場合、アイドル時に

  lspci

  でダウンストリーム GPU リンクが「2.5GT/s (ダウングレード済み)」と表示されることがあるが、これは見せかけの問題であり、負荷下では Gen4 に再学習される。