16～64GB RAM 環境向け：284B・30B MoE モデルの CPU ファースト推論（llama-modchip）

概要

llama-modchip

• メモリ効率: 物理メモリの制約を克服し、スワップなしにモデルと KV キャッシュを保持します。
• パフォーマンス向上: CPU キャッシュおよび SIMD 最適化により速度向上（プリフィル +77%、デコード +53%）を実現。
• コンテキスト復元: セルフスペキュレーティブドラフティングにより高速な文脈再開が可能。

パフォーマンスハイライト

• モデル容量: トータル MoE 2843.3 億パラメータ（アクティブ 131.7 億）
• DeepSeek-V4 GGUF (1.71 bpw): ディスクサイズ 56.56 GiB
• メモリ使用量: 256K コンテキスト時のピーク VmRSS 57.61 GiB
• CPU プリフィル速度: 16 コア環境で 44.36 トークン/秒（284B モデル）
• CPU デコード速度: 30B MoE (3.75 bpw) で 25.0～111.6 トークン/秒
• KV キャッシュ復元:

  /dev/shm

  スロットの復元に 13.1 ミリ秒

重要: GPU は不要です。

システム仕様による最適化とスループット

-ngl 99

量子化とメモリの内訳

各 GGUF ファイルに含まれる情報および圧縮比率について解説します。

GGML_TYPE_MXFP4

GGML_TYPE_Q2_0

MoE エクスパートルーター（Top-K）についての注記:

• デフォルト (

  v2.4.0 Lossless

  ): 各レイヤーあたり Top-6 ＋ 1 つの共有エキスパートを評価。エキスパートドロップはゼロ。
• 速度優先の場合:

  LLAMA_MOE_TOP_K=5

  または

  4

  を設定し、わずかな精度低下を許容してスループットを向上できます。

クイックスタート

Linux と macOS（自動セットアップ）

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

ダイレクト実行（事前コンパイル済みバイナリを使用）

重要: Fractal-64 モデルは

GGML_TYPE_Q2_0

./modchip

1. 30B Nemotron-3.5-A3B の場合（16～32 GB RAM）

hf download Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF \
  llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir .
chmod +x llama-server-modchip-linux-x86_64
./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf \
  -c 262144 -t 16 --port 8080

2. 284B DeepSeek-V4-Flash の場合（64 GB RAM）

hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-*.gguf \
  -c 32768 -t 16 -fa on --port 8080

Windows 10/11（ハイブリッド GPU＋CPU）

• windows/

  フォルダを開き、

  AVVIA_MODCHIP.bat

  または Git Bash 内の

  ./modchip start

  を実行。
• CPU コア、RAM、GPU VRAM を自動検出します。

./modchip

コマンド参照

http://127.0.0.1:8787

ハードウェア準備チェック（モデル不要）

curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3

対応するモデルおよび最適化ガイド

対応するチップおよびプロセッサ固有の最適化

各プロセッサ向けのマイクロアーキテクチャ詳細は

docs/HARDWARE_OPTIMIZATIONS.md

• AMD Zen 5 (デスクトップ / サーバー)
  • Ryzen 9 9955HX, 9950X, EPYC 9005 Turin
  • 特徴: シングルサイクル 512 ビット AVX-512、L3 イソレーション
• AMD Zen 4 Multi-CCD (Threadripper / EPYC)
  • Threadripper PRO 7985WX
  • 特徴: 動的 L3 CCD トポロジー発見、決定論的 ストライドで Infinity Fabric を飽和回避
• AMD 3D V-Cache ＋ Radeon Vulkan ハイブリッド
  • Ryzen 9 7945HX3D ＋ RX 9070 XT
  • 特徴: テンソルロール分割、Vulkan SSM_SCAN ＋Fractal-MXFP4
• Intel / AMD ＋ NVIDIA RTX (Windows)
  • Core i9-9900K/14900K ＋ RTX 2080 Ti / 3090 / 4090
  • 特徴: AVX2 サブスケールフュージョン、WDDM VRAM ソルバー
• Apple Silicon (M1～M4)
  • Apple M4 Max, M4 Pro
  • 特徴: ゼロコピーユニファイドメモリ、Metal シェーダー、0-Swap 128K コンテキスト対応
• ARM64 クラウド (AWS Graviton)
  • Graviton3 m7g.2xlarge
  • 特徴: ARMv8.4-A DotProd、SVE-256

ベンチマーク：タイトル比較（CPU 専用）

DeepSeek-V4-Flash 284B (Zen 5 CPU 16C)

前提条件: 256K コンテキスト

NVIDIA-Nemotron-3.5-30B-A3B (Zen 5 CPU 16C)

コミュニティ CPU リーダーボード (トップスコア)

./modchip bench

リポジトリ構造と構築方法

フォルダ構成

llama-modchip/
├── modchip                    # ユニファイド CLI ツール
├── install.sh                 # Linux 自動インストーラー
├── README.md / ARCHITECTURE.md / FAQ.md
├── docs/                      # 詳細な最適化ガイド
│   ├── NEMOTRON_OPTIMIZATIONS.md
│   ├── DEEPSEEK_V4_OPTIMIZATIONS.md
│   └── HARDWARE_OPTIMIZATIONS.md
├── patches/                   # モデルごとのパッチ
│   ├── deepseek-v4-flash-fractal-256k.patch
│   └── zen5-nemotron-256k-optimizations.patch
├── windows/                   # Windows 用ハイブリッドセットアップ
├── apple-silicon/             # M 系列 Mac のセットアップ
├── benchmarks/                # 品質評価スクリプト
└── scripts/                   # ビルドおよびトランスコードスクリプト

手動 CMake 構築の参考: 基本的なライブラリと依存関係をインストールし、以下のコマンドを実行します。

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./install.sh