AirLLM：軽量 GPU で超大規模 LLM を実行するガイド

AirLLM は推論時のメモリ使用量を劇的に削減し、特別な最適化なしに単一の 4GB GPU で大規模言語モデルを動作させるためのライブラリです。

主な特徴と実績

• メモリ効率の向上: 700 億パラメータのモデルも単一 4GB GPU で動作します。
• スパース型 MoE の活用: トークンごとに専門知識（expert）を選択してストリーミングさせ、層全体を保持する必要をなくします。
• 対応可能な超大規模モデル例:
  • Llama 3.1 (405B): 8GB GPU で動作
  • DeepSeek-V3 (671B): 約 12GB GPU で動作
  • Kimi K3 (2,800B): 単一 RTX 6000 Ada で 3.72GB の VRAM で動作

更新履歴 (Changelog)

• [2026 年 7 月] Kimi K3 (2.8T) サポート開始
  • 最大規模のオープンソースモデルが、単一カード（RTX 6000 Ada）でわずか 3.72GB の VRAM で動作します。
  • Expert 毎ストリーミング方式により、実際に利用される専門家のみを読み込みます。
  • 要件:

    pip install compressed-tensors flash-attn

    が必須です（モデルコードにより強制されます）。
  • 環境: CUDA 12 ビルドの torch と transformers 4.56.x を必要とします。
• [2026 年 6 月] バージョン 3.0
  • FP8 モデルサポート追加および最新モデルへの対応。
  • DeepSeek-V3 (約 12GB)、Qwen3-235B (約 3GB) など、全ての主要モデルを単一の

    AutoModel

    で実行可能に。
• [2024 年]
  • Qwen2.5 サポート開始 (v2.11.0)
  • CPU 推論および非分割モデルサポート開始 (v2.10.1)
  • Llama3.1 405B サポート開始、8bit/4bit 量化対応 (v2.11.0 以降)
• [2023 年]
  • macOS 上での 700 億パラメータモデル実行サポート開始 (v2.8.2)
  • AirLLMMixtral, AutoModel, プレフェッチ機能など、様々な機能を追加・改善。
  • AirLLM 初版リリース。

すばやく始める (Quick Start)

1. パッケージのインストール

まずは pip パッケージをインストールしてください。

2. 推論の実行

AutoModel

from airllm import AutoModel

MAX_LENGTH = 128
# リポジトリ ID をそのまま渡すだけで動作します:
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 同様に、より大きなモデルも実行可能です:
# model = AutoModel.from_pretrained("Qwen/Qwen3-235B-A22B")     # ~3GB で動作
# model = AutoModel.from_pretrained("deepseek-ai/DeepSeek-V3")  # ~12GB で動作

# ローカルパスを使用する場合:
# model = AutoModel.from_pretrained("/path/to/local/model")

input_text = 'What is the capital of United States?'

input_tokens = model.tokenizer(input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH, 
    padding=False)

generation_output = model.generate(
    input_tokens['input_ids'].cuda(), 
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

注意: 推論時、モデルは最初に層ごとに分解され保存されます。HuggingFace のキャッシュディレクトリに十分なディスク容量があることを確認してください。

モデル圧縮 (Compression)

ブロック単位量子化に基づく機能で、推論速度を最大 3 倍向上させます。精度の低下はほとんどありません。

有効にする手順

1. bitsandbytes のインストール:

   pip install -U bitsandbytes
   

2. AirLLM の更新確認:

   pip install -U airllm
   

3. モデル初期化時に引数を指定:

   from airllm import AutoModel
   
   model = AutoModel.from_pretrained("garage-bAInd/Platypus2-70B-instruct",
                        compression='4bit') # '8bit' も指定可
   

圧縮と量子化の違い

• 標準的な量子化: 重みとアクティベーションの両方を量子化する必要があるため、精度維持が難しい。
• AirLLM コンプRESSION: ボトルネックはディスク読み込みであるため、重みの部分のみを量子化すればよく、精度を確保しやすい。

設定オプション (Configurations)

モデル初期化時の主要な引数：

'4bit'

'8bit'

None

True

False

True

AirLLMLlama2

True

False

MacOS での動作

Linux と同様に、必要なライブラリをインストールしてコードを実行すれば動作します。

要件

• mlx

  と

  torch

  のインストールが必要。
• Python ネイティブのインストールが必要な場合があります。
• 対応プラットフォーム: Apple Silicon 専用。

サンプルコード (MacOS)

from airllm import AutoModel
MAX_LENGTH = 128
model = AutoModel.from_pretrained("THUDM/chatglm3-6b-base")

input_text = ['What is the capital of China?']
input_tokens = model.tokenizer(input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH, 
    padding=True)

generation_output = model.generate(
    input_tokens['input_ids'].cuda(), 
    max_new_tokens=5,
    use_cache=True,
    return_dict_in_generate=True)

print(model.tokenizer.decode(generation_output.sequences[0]))

対応モデル (Supported Models)

実質的なすべての人気オープン LLM と**开箱即用 (即座に動作)**します。主なファミリー：

• Llama: 2 / 3 / 3.1 / 3.3 / 4
• Qwen: 1 / 2 / 2.5 / 3 (MoE, FP8 含む)
• DeepSeek: V2 / V3 / R1
• Mistral & Mixtral
• Phi, Gemma
• ChatGLM, Baichuan, InternLM, Yi

小さな GPU で大きなモデルを実行するコツ

AirLLM は常に GPU に層を 1 つしか保持しません。必要な VRAM は総モデルサイズではなく、各層のサイズによって決まります。これにより、6710 億パラメータのモデルもホビー用カードで動作します。

すべてのモデルは単一行のコードで実行可能です。特別なセットアップは不要。

FAQ (よくある質問)

1.

MetadataIncompleteBuffer

エラーが発生した

• 原因: ディスク容量不足。モデル分割プロセスに大量の一時ファイルが必要。
• 解決策: ディスク容量を増やすか、HuggingFace の

  .cache

  をクリアして再実行してください。

2.

ValueError: max() arg is an empty sequence

エラーが発生

• 原因:

  AirLLMLlama2

  クラスで QWen や ChatGLM モデルを読み込んでいるため。
• 解決策:

  AutoModel

  を使用してください。

  from airllm import AutoModel # AirLLMLlama2 の代わりにこちらを使用
  model = AutoModel.from_pretrained("Qwen/Qwen-7B")
  

3.

401 Client Error: Repo model ... is gated

エラー

• 原因: ゲート付きモデルへのアクセスに HuggingFace API トークンが必要。
• 解決策:

  hf_token

  引数にトークンを渡す。

  model = AutoModel.from_pretrained("meta-llama/Llama-2-7b-hf", 
                                    hf_token='YOUR_HF_API_TOKEN')
  

4.

ValueError: Asking to pad but the tokenizer does not have a padding token

• 原因: トークナイザーにパディングトークンがない設定。
• 解決策: パディングを無効化 (

  padding=False

  ) か、設定を調整する。

  input_tokens = model.tokenizer(input_text, ..., padding=False)
  

引用とサポート

BibTeX 引用

AirLLM が研究に役立つ場合は、以下のように引用してください。

@software{airllm2023,
  author = {Gavin Li},
  title = {AirLLM: scaling large language models on low-end commodity computers},
  url = {https://github.com/lyogavin/airllm/},
  version = {0.0},
  year = {2023},
}

クレジット

多くのコードは Kaggle 競技会での SimJeg 氏の作業に基づいています。

• GitHub: @SimJeg
• コードと議論への感謝を表明します。

スポンサー情報：Bloome

クラウド上で AI エージェントチームをゼロセットアップで構築・実行可能プラットフォーム。

• グループチャットにスキルを追加し、ワンクリックで実行・共有。
• @mention でタスクを割り当てられる AI アシスタント機能付き。

👉 Bloome を試す (リンク準備中)

コントリビュート

コードへの貢献やアイデア、議論を歓迎します！

• 有用であれば ⭐ またはコーヒーを購入してください！