← 2026-08-20 の一覧へ戻るホーム
Unsloth デイナミック 3.0 GGUF

2026/08/20 3:36

Unsloth デイナミック 3.0 GGUF

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

Unsloth Dynamic v3.0 のリリースは、同じディスクサイズで比較した場合の Qwen3.8-27B モデルに対して他社よりも優れた精度を実現しており、これが最大の成果となっています。このアップデートは前バージョンを踏襲し、クオンタイゼーション手法の改良と、小型ファイルサイズにおける特定モジュールの削除による容量削減を行いました。層選択の改善およびポストトレーニングクオンタイゼーション（PTQ）を通じて品質は維持され、過学習リスクを回避するために QAT/QAD は全く使用しません。このアプローチは、エージェントコーディングや多言語性能などの多様なタスクに最適化された高品質な imatrix カリブレーションデータセットを用いています。新しいベンチマーク結果では、Unsloth クォンツが最大 10% の高いトップ 1% 精度を達成することが示されており、これは標準的な Wikipedia データではなく、専門データセットから保持した例を利用する Divergence-300@32 および KL ダイバージェンスというメトリクスによって確認されました。早期プレビューでの成功の後に、5 日間で 510 万回のダウンロードが記録されました。ユーザーは今や、6.2GB の UD-IQ1_S バージョンなど、従来のモデルの最大 89% のサイズ削減が可能でありながら依然として高い精度を保持する高性能モデルを利用できるようになりました。業界全体の効率性は、小型ファイルから MTP モジュールを削除することで約 500MB のディスクスペースを節約し、Llama 4 および Wolfram Ravenwolf の実装における重大なバグも同時に修正されたことで向上しています。imatrix ファイルは直ちにコミュニティへのテスト、評価、ファインチューニングやバリエーションの作成に利用可能となっています。

本文

Unsloth Dynamic v3.0 と v2.0: 革新量子化技術の紹介

Unsloth Dynamic は、モデルサイズを維持しつつ品質を高める新たな量子化技術です。本日公開された Qwen3.8-27B Dynamic v3.0 は他社製の同等規模のモデルと比較して、Top-1% の精度で 10% 以上性能を凌ぎます。llama.cpp や Unsloth Desktop などの多数の推論エンジンと互換性があります。

🚀 Unsloth Dynamic v3.0 (新機能)

Unsloth Dynamic v3.0 は、ダイナミック量子化技術の最新進化段階です。わずか 5 日間でダウンロード数が 510 万件を超えた Unsloth Qwen3.8 の大幅なアップデート版です。

💡 新たな研究方法と改良点

  • 高精度なカリブレーションデータセット: エージェントによるコーディング、チャット、多言語タスクを含む洗練されたデータを採用しています。
  • レイヤー選択の最適化: モデル品質を維持しつつ、新しい量子化技術を適用しました。

⚠️ 重要な技術的注記

  • PTQ（トレーニング後量子化）のみ使用: imatrix カリブレーションデータセットでの学習や、QAT/QAD（Quantization Aware Training/Distillation）は一切使用していません。すべて PTQ によって行われています。
  • 過学習対策: リークを防止するために、テスト用とトレーニング用で全く異なるデータセットを使用しています。
  • ディスク容量削減戦略: 
    • UD-Q2_K_XL
      (8.37GB): MTP モジュールを削除して容量を節約しました。必要であれば Q4_0 MTP モジュールをご利用ください。
    • UD-IQ1_S
      : MTP を含まず、Top-1% 精度の約 72% を維持しつつ容量を 89% 削減した新しい UD-1bit クォンツを作成しました。

📊 ベンチマークと性能詳細

  • Divergence-300 @32: Top-1% 精度だけでなく、32 トークンの文脈における KL ダイバージェンスを測定し、実際の推論能力をより正確に評価します。
    • Terminal-Bench 2.1, DeepSWE, Harbor, MathArena などの未见（未学習）データセットを使用。
  • KL ダイバージェンス (KLD) ベンチマーク:
    • ディスク容量に対し、最大 +10% の追加 Top-1% 精度を達成します（MTP ヘッドを除外した公平な比較）。
    • 小さい量子化サイズにおいて特に優れています。

🧪 UD-3 クォンツの性能比較

  • UD-Q2_K_XL (9.83GB): Top-1% で次善のモデルに対し +8% の高精度を持ち、HTML プログラムも正常動作します（JS バグを除く）。
  • 過学習なし: 未见なデータセットでの KLD テストにより、他社の QAD/QAT アプローチと比較して過学習懸念がありません。

Unsloth Dynamic v2.0 (旧バージョン・改良点)

Dynamic v2.0 は従来の量子化に対する大幅なアップグレードです。Aider Polyglot、5-shot MMLU、KL ダイバージェンスにおいて新たな基準を樹立し、フルプレシジョン SOTA LLM を凌駕するスコア（例：DeepSeek V3.1 GGUF 75.6%）を記録しました。

✨ v2.0 の主な変更点

  • 知的なレイヤー選択: 一部の層だけでなく、全可能なレイヤーの量子化タイプを動的に調整します。
  • 高品質なデータセット: モデルごとにカスタマイズされたカリブレーションデータセット（150 万トークン超）を使用し、チャット性能を向上させました。
  • MOE アーキテクチャ対応: DeepSeek-R1 などで有効だった Dynamic クォンティザートを、MOE および非-MOE のすべてのモデルで動作するように拡張しました。
  • 効率性の最大化: Apple Silicon および ARM デバイスを対象に、Q4_NL, Q5.1, Q5.0 などのフォーマットを追加しました。
  • 公平な比較基準: 公式 MMLU スコアを再現する内部評価フレームワークを開発し、他社との apples-to-apples な比較が可能になりました。

📈 性能評価とベンチマーク分析

🔀 なぜ KL ダイバージェンス (KLD) か？

  • フラップ（正解誤答の入れ替わり）の検出: 「精度だけ」では層削除や量子化による誤答が正解に書き換わる現象を見逃します。KLD はこれを測定するゴールドスタンダードです。
  • パープレキシティの限界: 出力トークンが相殺し合うため、KLD や Aider ベンチマークの方が厳しく正確です。

⚖️ カリブレーションデータセットと過学習制御

  • Wikipedia データの使用回避: 公平な評価のため、テストに Wikipedia データを使用せず、独自のチャット最適化データセットを使用しました。
  • 動的 2bit Q2_K_XL: KLD を著しく削減（約 7.5%）し、効率性を大幅に向上させました。

🔢 MMLU リプリケーションと実装修正

  • LLaMA 3.1/4 の微細問題解決: トークナイザーの"A"と"_A"の違いや、質問文への"The best answer is"付与など、地獄のようなリプリケーション過程で発見された問題を解消しました。
  • Llama 4 Scout/Maverick/Bug Fix: RoPE スケーリング構成や QK Norm エプシロンなどの設定ファイル読み取り問題を解決し、MMLU Pro を 68.58% から 71.53% に向上させました。

🦙 Gemma 3 QAT リプリケーション

  • Q4_0 GGUF ベンチマーク: Google 公式の QAT モデルに対し、Unsloth の Dynamic v2.0 は同等または高い精度を発揮しました（12B: 67.07% vs 67.15%）。
  • 効率性指標: 
    Efficiency = (MMLU Score - 25) / Disk Space
    を用い、ディスク容量増加比率に対する KLD 改善比率を最大化するモデルを選別しています。

🖥️ Llama 4 Scout 実行例

llama.cpp を使用した Llama 4 Scout の実行コマンドです。

# 1. llama.cpp の構築
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp/build \
    cmake .. \
        -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON \
        -DCMAKE_BUILD_TYPE=Release
cmake --build . --config Release -j --clean-first --target llama-cli llama-gguf-split

# 2. 推論の実行
./llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate a Flappy Bird game.<|eot|><|header_start|>assistant<|header_end|>\n\n"

同じ日のほかのニュース

一覧に戻る →

2026/08/20 2:32

OpenRouter が Stripe に参画

## Japanese Translation: OpenRouter は、コアアイデンティティを維持しつつミッションとグローバルなスケーリングを加速させるため、Stripe と戦略的提携を正式に発表しました。このアライアンスは、質、スケーラビリティ、そして AGI 後の経済におけるビルダーの支援にコミットした 2 つのデベロッパー向けのインフラストラクチャプラットフォームを結びつけるものです。Stripe の大規模な顧客ネットワーク、ビジネス成長データ、および不正防止専門知識との統合により、市場慣性による影響で単一のモデルがデフォルトとなるのを防ぎながら OpenRouter がスケールするのを支援します。OpenRouter は現在、400 以上のモデルを通じて 1,000 万人以上のユーザーをサービスしており、2023 年初頭の設立以来、推論ボリュームは少なくとも 10 倍の年間増加を示しています。毎日大量のトークンを処理しています。取引は来週中に完了見込みであり、OpenRouter の製品、ミッション、名称、ロードマップ、ユーザー統合、またはルーティングロジックを変更することなく、判断は常にユーザーにとって最善のものに基づいて行われます。この提携は多様な AI エコシステムの育成を目指し、両社は異なる運営文化とスタートアップの機動性を維持することを可能にします。OpenRouter はグローバルな成長に伴い効率的な 90 名の体制を維持する予定であり、好奇心、厳格さ、主体性、透明性を備えた新しいチームメンバーを招致しています。

2026/08/20 3:33

Go 1.27

## Japanese Translation: Go チームはバイナリアーカイブと公式インストーラーを提供するとともに、言語仕様とツールングにおいて重要な進歩をもたらすバージョン 1.27 をリリースしました。主要な言語更新には、ジェネリックメソッド（例：`math/rand/v2.Rand`）、ネスト化済みまたは埋め込まれた構造体に対する直接フィールド選択、および汎用化された関数型推論が含まれます。ツールングの向上としては、`go fix` における 4 つの新しいモダナイザー（`atomictypes`、`embedlit`、`slicesbackward`、`unsafefuncs`）、`go doc` でのパッケージ@バージョン照会への対応、ならびに `go.mod` において統合されたブロックによる依存関係管理の簡素化が挙げられます。パフォーマンス向上は、サイズ特化型メモリアロケーションの導入により実現されており、これによって小規模オブジェクト（<80B）のコストを最大 30% 削減し、アロケーション負荷の高いプログラムの全体的なパフォーマンス向上を約 1% に貢献しています。セキュリティ面では、量子耐性のある ML-DSA 署名の統合と標準ライブラリ内蔵の UUID サポートによる強化が図られました。その他のハイライトとしては、実験的な SIMD サポート、安定性を高めるための一般利用可能な `goroutineleak` プロファイラー、`encoding/json/v2` の厳格なデフォルト設定、ならびにテスト用として新しいユーティリティである `NewTestServer` などがあります。

2026/08/20 4:06

ロックされた・非アクティブ化された電子廃棄物 Cricut Maker のアンロック方法

## Japanese 翻訳: 保証期間終了後の交換または値引きアップグレードに伴うロック状態の無効化された Cricut Maker が、脆弱な USB CDC コミュニケーションを傍受することで電子廃棄物から復元されたとのこと。機器は「マシンが無効化されました」というエラーを表示しており、そのシリアル番号が古いデバイスのものであったためです。証明書ピニングによりネットワーク傍受に失敗したため、研究者らは平文の USB トラフィックを対象に視線を移しました。分析の結果、シリアル番号はチェックサムや暗号化なしで送信されていることが判明しました。Raspberry Pi RP2040 を USB ホストプロキシとして使用（正常な USB ホスト機能を確保するためにクロック速度を 240MHz にオーバークロック）、そしてベンダー/製品 ID のメタデータを元の Cricut と一致させるように設定することで、チームはハードウェアレベルで有効なシリアル番号を直接書き換えました。EEPROM がアクセスできず、MCU に対応するデバッグツールが存在しなかったため分解には着手しなかったものの、この方法は物理的なロック機構および証明書ピニングを回避し、新規登録された実在しないシリアル番号をユーザーアカウントに追加することを可能にし、安価で入手可能なローラーなどの交換部品と問題なく動作させることができました。本件は、製造業者がデバイス識別データを暗号化しておらず、その結果アイデンティティのスプーフィングやロックされた電子廃棄物の機能的資産としてのリサイクルが可能な重大な脆弱性を浮き彫りにしました。

Unsloth デイナミック 3.0 GGUF | そっか～ニュース