NTransformer

高効率なC++/CUDA LLM推論エンジン – PCIe経由でGPUメモリへモデル層をストリーミングし、CPUを完全にバイパスするNVMeダイレクトI/Oオプション付きで、RTX 3090（24 GB VRAM）単体でLlama 70Bを実行します。

主な成果

*三階層適応キャッシュはハードウェアに合わせて自動調整されます：

• VRAMに常駐（I/Oゼロ）
• ピン留め済みRAM（H2Dのみ）
• NVMe/mmapフォールバック*

RTX 3090 + 48 GB RAMの消費者向けハードウェアで、mmapベースより83倍速を実現。

ボトルネック: Gen3 ×8 PCIe H2D帯域（約6.5 GB/s）
Q4_K_MはVRAMに10層多く収める（36 vs 26）、Tier‑B転送が減少。
Layer skip（コサイン類似度調整）は1トークンあたり20/80層を除外し、品質低下を最小化。

主な機能

• CUDA Toolkit以外に依存せず、PyTorchやcuBLASは不要。
• GGUFモデルフォーマット：Q4_0, Q8_0, Q4_K_M, Q5_K, Q6_K, F16, F32量子化。
• 3‑Tier適応キャッシュ：VRAM常駐 + ピン留めRAM + NVMe/mmap階層。
• SLEPストリーミング：ダブルバッファリングによりNVMe読み込み、PCIe DMA、GPU計算を重ね合わせる。
• gpu‑nvme‑directバックエンド：ユーザースペースNVMeドライバーでモデルウェイトを直接ピン留めGPUアクセスメモリへ読込む。
• Layer skip：コサイン類似度調整により冗長層（20/80）をスキップ。
• Self‑speculative decoding：VRAM常駐層をドラフトモデルとして使用し、追加モデル不要。
• 4種類のデータパス（自動選択）
  1. VRAM常駐 → GPU計算
  2. ピン留めRAM H2D
  3. Mmapピン留め
  4. CPUワーカー memcpy
• Llamaアーキテクチャ：RoPE, GQA, SwiGLU, RMSNorm, KVキャッシュ。

要件

クイックスタート

# ビルド
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_C_COMPILER=gcc-14 \
  -DCMAKE_CXX_COMPILER=g++-14 \
  -DCMAKE_CUDA_COMPILER=/usr/local/cuda-13.1/bin/nvcc
cmake --build . -j

# Residentモード（モデルがVRAMに収まる場合）
./ntransformer -m /path/to/llama-8b-q8_0.gguf -p "Hello" -n 128

# Streamingモード（モデルがVRAMを超える場合）
./ntransformer -m /path/to/llama-70b-q6_k.gguf -p "Hello" -n 32 --streaming

# Layer skip（70Bで最速）
./ntransformer -m /path/to/llama-70b-q4_k_m.gguf \
  -p "Hello" -n 32 --streaming --skip-threshold 0.98

# Self‑speculative decoding
./ntransformer -m /path/to/llama-70b-q6_k.gguf \
  -p "Hello" -n 32 --self-spec --draft-k 3

# チャットモード
./ntransformer -m /path/to/model.gguf --chat

# ベンチマーク
./ntransformer -m /path/to/model.gguf --benchmark -n 64

NVMeダイレクトI/Oのシステム設定

nvme direct を動作させるにはシステムレベルでいくつか変更が必要です。
自動セットアップスクリプトがすべてを処理します。

# 初回完全セットアップ（対話形式、バックアップ作成）
sudo ./scripts/setup_system.sh

# 現在の状態確認（変更なし）
sudo ./scripts/setup_system.sh --check

# NVMeのみ（再起動後に実行）
sudo ./scripts/setup_system.sh --nvme-only

スクリプトが変更する項目と理由

apt remove

amd_iommu=off

/etc/default/grub

update-grub

os-mlock.c

follow_pfn()

cudaHostRegisterIoMemory

.orig

cp os-mlock.c.orig os-mlock.c

dkms remove/install nvidia/VERSION

math_functions.h

rsqrt()/rsqrtf()

noexcept

cp math_functions.h.orig math_functions.h

vfio

vfio-pci

enable_unsafe_noiommu_mode=1

modprobe -r vfio-pci vfio

gpu‑nvme‑direct

/dev/

sudo ./scripts/restore_nvme.sh

BIOS設定（手動：スクリプト実行前に）

ハードウェア注意事項

本プロジェクトは低レベルPCIe操作（GPU MMIO書き込みによるNVMeコントローラレジスタ制御、ユーザースペースNVMeコマンド送信、VFIOデバイスパススルー）を行います。RTX 3090 + WD SN740で十分にテスト済みですが、誤設定やハードウェア互換性の不備により以下が発生する可能性があります：

• NVMeリンク障害（GPU読み込み時に電源サイクルが必要）
• RAWブロックストレージでデータ損失
• IOMMU無効化やカーネルモジュールパッチによるシステム不安定
  決してブートドライブをNVMeダイレクトI/Oに使用しないでください。専用のセカンダリNVMeを常に使用してください。
  著者はハードウェア損傷やデータ喪失について責任を負いません。自己責任でご利用ください。

スクリプト一覧

scripts/setup_system.sh

scripts/setup_system.sh --nvme-only

scripts/setup_system.sh --check

scripts/setup_nvme.sh [BDF]

scripts/restore_nvme.sh [BDF]

NVMeダイレクトストリーミング

VRAMに収まらないモデルでは、NVMeバックエンドがCPUを完全に排除します。

NVMe SSD → (DMA) → ピン留めステージング → (PCIe H2D) → GPUバッファ → 計算

設定手順

# NVMeサポート付きでビルド（gpu‑nvme‑directライブラリが必要）
cmake .. -DCMAKE_BUILD_TYPE=Release -DUSE_GPUNVME=ON \
  -DCMAKE_C_COMPILER=gcc-14 -DCMAKE_CXX_COMPILER=g++-14 \
  -DCMAKE_CUDA_COMPILER=/usr/local/cuda-13.1/bin/nvcc
cmake --build . -j

# GGUFモデルをNVMe生RAWデバイスへ書き込む
sudo ./scripts/restore_nvme.sh           # カーネルドライバーがbindされていること確認
sudo dd if=model.gguf of=/dev/nvme0n1 bs=1M oflag=direct status=progress

# NVMeをVFIOへバインドしてユーザースペースアクセス可能にする
sudo ./scripts/setup_nvme.sh             # VFIOロード、D0パワー状態強制、BusMaster有効化

# NVMeバックエンドで実行
sudo GPUNVME_PCI_BDF=0000:01:00.0 GPUNVME_GGUF_LBA=0 \
  ./build/ntransformer -m /path/to/model.gguf -p "Hello" -n 32 --streaming

# NVMeをカーネルドライバーへ戻す
sudo ./scripts/restore_nvme.sh

動作原理

1. dd

   でGGUFファイルをNVMeブロックに書き込み。

2. setup_nvme.sh

   がNVMeをVFIOにバインドし、PCIe D0状態とBusMasterを有効化。

3. gpu‑nvme‑direct

   がユーザースペースからNVMeコントローラを初期化（admin/IOキュー）。
4. 推論時には各層（70B Q6_Kは約670 MB）を約670のNVMeコマンドで~202 msに読み込み。
5. データはCUDAピン留めステージングへ入り、非同期DMAでGPU計算バッファへ転送される。
6. ダブルバッファリングによりNVMe読込・H2D DMA・GPU計算を重ね合わせ、スループットを最大化。

アーキテクチャ概要

src/
├── core/          # テンソル、アロケータ、GPUデバイス管理
├── cuda/          # CUDAカーネル：GEMV, RMSNorm, RoPE, SwiGLU, softmax
├── memory/        # SLEP層ストリーミングエンジン（NVMe + mmap）
├── model/         # Transformer：設定、GGUFローダー、注意機構、FFN、正規化
├── inference/     # トークナイザ、サンプラー、エンジン
├── utils/         # タイマー、ロガー
└── main.cpp       # CLI入り口

scripts/
├── setup_system.sh   # システム全体設定（GRUB, NVIDIAパッチ, CUDAパッチ, VFIO, NVMe）
├── setup_nvme.sh     # NVMeをVFIOへバインド、gpu‑nvme‑direct用に構成
└── restore_nvme.sh   # NVMeをカーネルデバイスへ戻す

tests/               # ユニットテスト（テンソル, GEMMカーネル, NVMe層ローダ）

3‑Tier適応キャッシュ –

forward_tiered()

Tierサイズは

cudaMemGetInfo()

/proc/meminfo MemAvailable

量子化形式

フェーズロードマップ

gpu‑nvme‑direct

ライセンス

BSD‑2‑Clause