← 2026-09-09 の一覧へ戻るホーム
Qwen3.8 27B の量子化ベンチマーク：4 ビットは持続するが、1 ビットでは崩壊する

2026/09/08 23:49

Qwen3.8 27B の量子化ベンチマーク：4 ビットは持続するが、1 ビットでは崩壊する

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

消費者ハードウェアにおける巨大な Qwen3.8 モデルの評価は、Q4_K_M クォンタ化が最適なバランスを提供していることを示しています。この方式は、複雑なベンチマーク（GPQA Diamond および Terminal-Bench 2.1 など）において完全 BF16 モデルの性能と同等の成果を達成しつつ、RTX 4090 のようなハイエンドなグラフィックボードにも収まり、かつ大量のコンテキスト容量（約 64k トークン）を確保します。対照的に、極限まで圧縮した手法は著しく失敗します。1 ビットクォンタ化は推論能力の完全な崩壊を招き、困難なタスクにおいてランダムな偶然に相当するレベルまで性能低下します。一方、2 ビットオプション（UD-Q2_K_XL）は出力トークンに対して一定のオーバーヘッドを示しますが、より単純なタスクやエージェント型ワークロードには依然として実用性があり、Gemini 3.1 Pro というトップティアのモデルを上回るか少なくとも同等のパフォーマンスを発揮します。これらの厳格な評価は、2026 年 8 月下旬にレンタルされた NVIDIA GPU（総費用は約 2,971 ドル）を用いて行われた Unsloth GGUF ファイルによるテストを通じて実施され、開発者が高リスクの推論およびコーディング用途では Q4_K_M を優先すべきであり、ファイルサイズは小さくなるとはいえ高度なモデルを無効化してしまう 1 ビット手法を避けるべきであることを確認しています。

本文

Qwen3.8 27B の実行コストと最適量子化レベルの分析

Qwen3.8 27B モデルを品質を損なわずに実行するためには、どれだけの GPU メモリが必要か。また、量子化（Quantization）によってどの程度の性能低下があるのか、実際のベンチマーク結果に基づき解説します。

モデルのサイズとメモリ要件

フル精度モデルは非常に大容量ですが、適切な量子化を行えば汎用ハードウェアでも動作可能です。

  • フル精度 (BF16)
    • 重量: 約 55 GB
    • 現状: コンシューマー向け GPU では扱えない規模です。
  • 4 ビット量子化 (Q4_K_M) [推奨]
    • 重量: 約 17 GB
    • 性能: 「Terminal-Bench 2.1」などのベンチマークで、フルモデルと同等の性能を発揮します。
    • 対応機器: RTX 4090 (24 GB) 搭載 GPU で動作可能。残りのメモリには約 64k トークン のコンテキストを割り当てられます。

Unsloth から入手可能な GGUF バージョン比較

Hugging Face または Unsloth より入手できる主な量子化バリエーションは以下の通りです。

量子化レベルモデル名サイズ (約)
8 ビットQ8_029 GB
4 ビットQ4_K_M17 GB
2 ビットUD-Q2_K_XL10.7 GB
1 ビットUD-IQ1_S6.2 GB

重要: 量子化を過度に進めると性能限界（クラフ）に達します。1 ビットでは推論タスクでほぼランダムな回答しか出ず、長い推理プロセスほど劣化が顕著になります。

ベンチマーク評価と性能分析

モデルの実際のタスク解決能力を以下の 3 つのベンチマークで検証しました。

  • GPQA Diamond: 科学分野の高度な推論タスク
  • IFBench: 指令追従能力
  • Terminal-Bench 2.1: エージェント型プログラミングタスク（89 タスク）

共通設定と注意点

  • KV キャッシュ: 量子化とは独立して、常に FP16 で処理されます。32k トークンあたり約 2.3 GB のメモリを必要とします。
  • Unsloth バージョン:
    • 2/4/8 ビットモデル: 
      v2
      ファイルを使用（2026 年 8 月 19 日置き換え）。
    • 1 ビットモデル: 
      v3
      ファイルを使用。
  • effort 設定: デフォルトは「xhigh」ですが、過剰な思考深度が必要ない場合は注意が必要です。

1. ワンショットテスト結果

GPQA Diamond（科学推論）

  • 再現性: フルモデルの公式結果と完全に一致しました。
  • 量子化の影響:
    • 4 ビット (Q4_K_M): フルモデルとの差異は実質ゼロ。
    • 2 ビット: 若干スコアが低下。
  • 推論努力度 (effort) の影響:
    • 「xhigh」設定で最適化可能（推理トークン数約 8k）。

IFBench（指令追従）

  • 結果: 2 ビット版を含めると、モデル間での性能差はほとんど認められませんでした。
  • 制約: コンテキスト長が約 4k トークンに制限されました。

2. エージェント型コーディング (Terminal-Bench 2.1)

タイムアウト 3 時間、「xhigh」努力度、コンテキスト 98k トークンの条件下で評価しました。

  • 4 ビット版 (Q4_K_M): BF16 フルモデルと同様の良好な結果。性能差を実感することはほぼありません。
  • 2 ビット版: 若干の性能低下が見られますが、Opus 4.7 や Gemini 3.1 Pro と同等レベルです。「使えない」わけではありません。
  • 効率性に関する発見:
    • ターン数（試行回数）: BF16 とほぼ同じ。
    • トークン消費量: 約 4 倍 のトークンが必要になります。

3. 1 ビット量子化における性能の崖

量子化による劣化は非線形に進みます：測定不可能 → わずかな低下 → 全体的な崩壊。

  • 実用性: 最も高性能な 1 ビット版であっても、これらベンチマークでは実用的ではありません。スコアはランダム選択レベルかそれ以下です。
  • 推論プロセスの長期化リスク:
    • 「xhigh」設定で無理に推理を進めようとすると、トークン予算を枯渇させて空回答を返すケースが増加します。
    • 2 ビット版の方が「十分機能する」平衡点と言えます。

コスト試算 (API vs ローカル)

ローカル環境（自社工場）での実行が API と比較してはるかに費用効率が良いです。Modal を利用した CLI エグゼキューションなどを想定した試算です。

ベンチマーク構成 (BF16 フル精度)構成 (Q4_K_M 量子化)
Terminal-Bench 2.1約 $2,308約 $120
GPQA + IFBench合計 約 $663(同上)*

注: ここでのコスト差は主に GPU の利用時間と電力コストに起因します。API を使う場合でも同様の傾向があります。

結論と推奨事項

メモリ要件のまとめ

ローカル環境で Qwen3.8 27B を動かすには、以下のモデルを選択するのがベストです。

  1. バランス型（推奨）: Q4_K_M (約 17 GB)

    • RTX 4090 (24 GB) でも動作可能。
    • 主要ベンチマークにおいてフル精度と同等の性能を発揮。
    • KV キャッシュを含めても余裕を持って設定可能（64k トークン程度）。

  2. 簡易タスク向け: UD-Q2_K_XL (約 10.7 GB)

    • 一部の簡単なタスクでは問題なく動作します。

アドバイス

  • KV キャッシュの考慮: KV キャッシュは量子化に依存せず FP16 で占有されるため、モデルサイズだけでなくキャッシュ容量も総計算資源から引く必要があります。
  • 過度な量子化の回避: 1 ビット量子化は推論タスクにおいて性能が崩壊するため避けましょう。2 ビットと 4 ビットの中間で性能とリソースのバランスが取れています。
  • 積極的な採用: 量子化を恐れる必要はありません。適切なレベル（Q4_K_M）を選べば、コストパフォーマンスの高い実装が可能です。

ご自身の環境での検証や、r/LocalLLaMA などのコミュニティでの議論も参考にしてみてください。

同じ日のほかのニュース

一覧に戻る →

2026/09/08 23:55

Google DeepMind、AlphaGenome アトラスをリリース

## Japanese Translation: ## サマリー： Google DeepMind は、ヒトゲノムにおけるあらゆる可能な単一ヌクレオチド変異の影響を予測することを目的とした画期的なツール「AlphaGenome Atlas」を導入しました。この 1 ペタバイト規模の巨大データセットは、全ての 90 億個の可能性のある変化について事前に影響を計算しており、「AVI スコア」というスコアを用いてどの遺伝的変異が最も重要かを瞬時に優先順位付けします。この革新は、稀少疾患の原因特定という重要な課題に対処しており、例えば広域研究所（Broad Institute）で同定された *DNM1* 遺伝子の特定の突然変異によって誤ったスプライスサイトが作成される問題に対処しています。さらに、54,000 人以上の UK Biobank 参加者のデータに適用した際、アトラスは非コード領域と身体質量指数（BMI）との新しい関連性を発見しました。予測された分子効果に基づいて変異をグループ化することで、従来の手法よりも 22% も多くの関連性を明らかにし、BMI に関連する 19 の遺伝的領域を同定しました。複雑で高度なプログラミングスキルを必要とする以前の手法とは対照的に、このツールは直感的なウェブサイトポータルを通じてアクセス可能となり、世界の臨床研究者へのアクセスを民主化しています。結局のところ、アトラスは科学者が膨大な技術的専門知識を必要とせずに最も有望な遺伝的なリードにリソースを集中させることを可能にし、発見のスピードを加速させています。

2026/09/09 5:07

MacBook Pro で 4 つの SSD からストリーミングし、トークン速度が 1 トークン/秒の Kimi K3（2.8T）

## 日本語翻訳: 元のサマリーは読みやすいですが、Key Points List に含まれる数量的な深みに欠け、欠落している指標なしでは具体的なパフォーマンスに関する主張を評価することが困難です。以下の改良版は、重要なデータポイントを取り入れつつ文脈の流れを維持したものです： ## サマリー このプロジェクトは、ARGODRIVE の Deltafin フォークを使用して、アップストリーム仕様に従い（専門家プリューニングやウェイトの減少など、品質を犠牲にするショートカットを導入しない）、Apple M5 Max MacBook Pro（128 GB RAM）上で 2.8T パラメータの Kimi K3 MoE モデルをフルスケールで展開することを実証しています。**パフォーマンス分析**によると、デコードスループットはプロンプト長に応じて約 0.96〜1.13 tokens/s（アップストリームの約 0.68 tokens/s）と安定しています。しかし、このセットアップには 512 トークンのプロンプトに対する「最初のトークンまでの時間」（Time to First Token）の遅延が約 375 秒と大きく、これはプリフィル中に特定のメモリ専門家を読み直す効率が悪い（具体的には各レイヤーの専門家を 8 倍読み返す）ことが原因です。SSD スケールは対数曲線に従い、最も低速なレイヤーがペースを規定します。ドライブを追加しても収益性が低下し、1 ドライブがベースラインである 4 ドライブの約 52%、2 つのミラーリングが約 73%、3 ドライブが約 90% を提供します。このプロジェクトは、精度を犠牲にして（例えば専門家のウェイトを約 3 bit に減少させるなど）人工的に速度を上げる他のイニシアチブと区別されます。ユーザーは `--full` モード（1.7 TB のローカルダウンロード）または `--stream`（オンデマンドキャッシング）のいずれかを選択できます。デフォルトでは Inferact の Kimi-K3-DSpark が含まれており、生テキストタスク用にはオプションの Qwen アクセラレーラーが用意されています（チャット速度ではありません）。コードは MIT ライセンスで公開され、Moonshot AI と何らの関係もありません。アップグレードには `cargo build` を通じた手動メンテナンスが必要であり、アップストリームのライセンス条項に従っています。将来の計画は、プリフィルの読み直し問題を解決して起動遅延を排除することに焦点が当てられています。

2026/09/09 6:47

大規模言語モデルが適応的探索によって新たな社会的バイアスを発明する

## Japanese Translation: OpenReview にアクセスする前に、新規ユーザーは作業を続行するには強制のセキュリティ検証手順を完了する必要があります。既存のアカウント保有者は直接ログインすることでこの要件を回避でき、これにより自動的にメインインターフェースに遅延なくリダイレクトされます。その結果、新規ユーザーはチェックを完了させるまでワークフローを一時的に停止する必要があり、登録済みアカウント向けの免除を利用しない限りです。組織が新しい人材オンボーディングを行う場合、これらの個人が認証を完了する間、一時的な摩擦が発生する可能性があります。したがって、このプラットフォームは新規参入者に対して厳格な入場を強制し、一方で検証済みのユーザーにはシームレスなアクセスを維持します。