← 2026-08-20 の一覧へ戻るホーム
DFlash 2：並列描画維持機能搭載

2026/08/20 5:28

DFlash 2：並列描画維持機能搭載

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

InCo AI は、エージェント時代における推論のボトルネックを解決することを目的とした画期的な技術「DFlash 2」を発表しました。DFlash 2 は、高トークン消費型のワークロード向けスループットのスケーリングにより実現されます。従来のオータリガressive なデコーディングが順次処理するのに対し、DFlash 2 では単一のフォワードパスでトークンブロック全体を検証できる並列的な推測デコーディングを可能にします。NVIDIA Blackwell GPU などの高度なハードウェア上では最高 15 倍高速化を実現し、Google TPU 上では 3 倍のトークン/秒の処理性能を提供します。本システムは、2 タップ動的深層畳み込みを使用して局所的な依存関係を吸収し、ブロック末端でのリコールを維持することで、長_SEQUENCE にわたるパフォーマンス低下をもたらす「サフィックス・デケイ（suffix decay）」を効果的に防止します。

現在、SGLang、vLLM、llama.cpp、Apple の oMLX（pip またはプリビルトインストーラーを通じて）を含む主要プラットフォームへの直近展開が可能であり、Qwen3.8-27B および Meta の Muse Glimmer モデル向けの専用ドラフターを搭載しています。公式エコシステムサポートは NVIDIA、Red Hat、Modal、CoreWeave（Kimi K2.7 Code エンドポイント）、Poolside（Laguna）、Xiaomi（MiMo-V2.5-Pro）などに拡大されています。2026 年 8 月時点での Hugging Face ダウンロード数は 350 万回を超え、広範な採用はすでに進行中です。

DFlash 2 は、各位置でトップ 16 の候補リストを使用し、高価なオータリガressive な補正を行わずに一貫性を保証する軽量パースレクターを導入しました。これにより、DSpark などの代替案と比べて約 40 倍少ないパラメータで優れたパフォーマンスを発揮します。検証パスごとに出力を 20% 以上増加させ、レイテンシは約 1% 追加するだけで、オータリガressive なデコーディングと比較してベンチマーク全体で 16〜25% の性能向上を実現しました。Qwen3.5-4B を対象としたベンチマークでは、MBPP で平均受け入れ長さが 6.28、MATH-500 で 6.76 を記録し、ネイティブ MTP およびコミュニティ製 DSpark ドラフターを大きく上回りました。全体として、DFlash 2 はオータリガressive なデコーディングのほぼ 3 倍の速度でデコードすると同時に、1 トークンあたりの計算消費量を約 1/3 に抑えながら出力品質を変化させることなく動作し、実世界アプリケーション向けのより高速かつ費用対効果の高い AI エージェントへの大きな一歩を表しています。

本文

DFlash 2：並列な素案化のさらなる進化

推論処理は、AI エージェント時代におけるボトルネックです。エージェントがチャットを通じて大量のトークンを消費する際、従来の逐次処理では数時間〜数日の時間を要します。Inco AI は、これに対応する「DFlash 2」をリリースし、並列な素案化（Speculative Decoding）技術の革新を遂げました。

業界での採用状況と実績

  • 基盤インフラとの互換性
    • すでに SGLang, vLLM, TensorRT-LLM, llama.cpp などの主要な推論エンジンで動作中。
    • NVIDIA: Blackwell GPU で最大 15 倍の Throughput（処理速度）向上。
    • Google: TPU で毎秒 3 倍増のトークン生成量達成。
  • 実環境への導入
    • CoreWeave の生産環境向け Kimi K2.7 エンドポイントでもデフォルトで動作。
    • Hugging Face 上の DFlash モデルダウンロード数は、2026 年 8 月時点で 350 万回以上。
  • エコシステムの拡大
    • NVIDIA, Red Hat, Modal などが独自の素案化モデル（Drafter）を公開。
    • Meta, Poolside, Xiaomi, NVIDIA が自社の LLM に公式の DFlash 機能を搭載。

DFlash 2 の技術的特徴

DFlash 2 は、従来の逐次処理からブロック内の全位置を並列に予測する構造へ進化させました。

  • 性能向上
    • スループット: バッチサイズ 1 でも、逐次デコードの 2.7〜3.4 倍（Qwen3.8-27B-SGLang 環境）のスループットを達成。
    • レイテンシ: サイクルあたりのレイテンシは約 1% のみ増加し、検証パスごとに最大 20% 以上の出力増加を実現。
    • 精度: 出力結果の正しさ（Accuracy）は保証され、総体的な性能向上は 16%〜25% に達するベンチマーク結果。
  • 設計思想
    • 並列処理を維持しつつ、「適切なトークンの選択」と「ブロック末尾での精度維持」の両課題を解決。
    • 「Oracle（神様）」戦略：正しいトークンが候補リストの上位 16 つにほぼ確実に含まれており、それを抽出するだけで高い受容長が可能。

今すぐ試す方法

主流の推論エンジンで DFlash 2 を利用するためのコマンドです。

SGLang

pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git#subdirectory=python"

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
  --speculative-num-draft-tokens 8

vLLM

pip install -U "vllm @ git+https://github.com/vllm-project/vllm.git@refs/pull/52816/head"

vllm serve Qwen/Qwen3.8-27B \
  --speculative-config '{
    "method": "dflash",
    "model": "incoai/Qwen3.8-27B-DFlash2",
    "num_speculative_tokens": 7
  }'

llama.cpp

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git fetch origin pull/27342/head:pr-27342
git switch pr-27342

# NVIDIA CUDA 向けビルド
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build -j

# Apple Silicon 向けビルド（MacBook など）
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON
cmake --build build -j

./build/bin/llama-server \
  -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
  -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \
  --spec-type draft-dflash \
  --spec-draft-n-max 7

oMLX (Apple Silicon)

  1. ダウンロード: 
    mlx-community/Qwen3.8-27B-4bit
    と 
    incoai/Qwen3.8-27B-DFlash2
    を取得。
  2. 設定: モデルマネージャーより DFlash 機能を有効化。
    • DFlash: 有効 (Enabled)
    • 素案化モデル: 
      incoai/Qwen3.8-27B-DFlash2
    • ランタイムブロックサイズ: 5
  3. 実行: 設定を保存しターゲットモデルを読み込む。

技術的革新：並列選択とローカル演算

1. 適切なトークンはすでに候補リストにある

  • DFlash は各位置を独立して並列予測するため、整合性（Coherence）が課題でしたが、追加の逐次的補正は不要であることが実証。
  • Recall@16: 正しいトークンが候補リストの上位 16 つに含まれる確率は 99.5% 以上。
メトリック受容長さ (Acceptance length)Recall@1
DFlash4.2785.4%
Oracle（上位 16 個中）6.7999.5%

2. ライトウェイトなパスセレクター

  • 従来の手法は多数のパラメータを追加する傾向がありますが、DFlash 2 は極めて軽量。
  • 軽量化効果: DSpark 補正（+778 万パラメータ）に比べ、+200 万パラメータのみで同等以上の性能を発揮。
手法パラメータ増加レイテンシオーバーヘッド受容長さ
DFlash + DSpark 補正+778 万 (+9.6%)-4.49
DFlash + パス選択 (当手法)+200 万 (+0.6%)-4.61
  • 原理: 各位置で上位 16 の候補を保持し、隣接ペアスコアリングによって整合的な経路を探索。追加の LM ヘッドパス不要。
  • 評価: 「選択する」コストは「予測する」コストより圧倒的に低く、さらに最適化する余地があることが示唆された。

3. Suffix Decay（後続部分の減衰）の解決

ブロックを進むにつれて精度が下がる現象（Suffix Decay）は、バックボーン容量不足によるものであり、ローカルな演算問題であることを特定。

  • Deep Convolutions の限界: 追加層（Convolutional モデル）を入れると初期位置の性能も低下し、効率性が損なわれる。
  • 解決策: **「ライトウェイトなローカル Convolution」**を採用。
    • ブロック内の依存関係は短距離であるため、2 タップの動的深さ別コンボリューションを適用。
    • 追加パラメータはわずか 1650 万（3%） でありながら、Suffix Decay を著しく軽減。
    • アテンションヘッドがブロック内の作業から解放され、コンテキスト読み取りに特化可能となった。
コンボリューションなし追加レイヤー数 (10)ローカル Convolution
レイテンシオーバーヘッド-+0.7%
Suffix Decay 軽減度-顕著

統合評価：ベンチマーク結果

セレクターとローカル Convolution を統合した DFlash 2 は、あらゆる基準で優位性を見せました。

平均受容長さの比較 (Qwen3.5-4B)

  • DFlash: 平均 4.92 トークン
  • DSpark: 平均 5.49 トークン
  • DFlash 2: 平均 5.97 トークン（全体の +18% 向上）
データセットDFlashDSparkDFlash 2
GSM8K4.995.696.20
MATH-5005.426.206.76
HumanEval5.435.806.28
MBPP4.494.965.41
MT-Bench4.264.775.20

新モデルによるスループット向上

本日リリースされた Qwen3.8-27B と Meta Muse Glimmer では、以下のスループット向上が確認されました。

  • Qwen3.8-27B: autoregressive デコードの 2.7〜3.4 倍
  • Muse Glimmer: autoregressive デコードの 3.1〜4.6 倍

今日リリースされる二つの素案化モデル

1. Qwen3.8-27B DFlash 2 モデル

データセットDSparkDFlash 2向上分
GSM8K4.365.46+1.10
MATH-5003.925.28+1.36
HumanEval3.304.39+1.09
MBPP3.514.79+1.28
MT-Bench3.014.10+1.09

2. Meta Muse Glimmer DFlash 2 モデル

データセット公式 DFlashDSparkDFlash 2向上分
GSM8K5.435.456.57+1.12
MATH-5005.395.016.56+1.55
HumanEval4.114.335.66+1.33
MBPP3.744.025.30+1.28

結論と展望

  • 速度の革新: DFlash 2 は、従来の逐次デコードを約 3 倍の速度で実行しつつ、同じ品質の出力を提供します。
  • コスト削減: トークンあたりの計算コストは約 1/3 に抑制され、エージェントによる大規模なチャット処理のボトルネック解消に寄与します。
  • エコシステムの成長: 7 ヶ月間で業界標準となり、Hugging Face で 350 万回以上のダウンロードを達成しました。

DFlash 2 は、推論スタックにおける最初のピースでありながら、エンドツーエンドの最適化へと導く道筋を示しています。

  • 問い合わせ: スタックの評価やファインチューニング対応などのご相談は contact@inco.ai まで。
  • 採用情報: この技術スタックの構築に興味のある方も、同メールアドレスへご連絡ください。

同じ日のほかのニュース

一覧に戻る →

2026/08/20 2:32

OpenRouter が Stripe に参画

## Japanese Translation: OpenRouter は、コアアイデンティティを維持しつつミッションとグローバルなスケーリングを加速させるため、Stripe と戦略的提携を正式に発表しました。このアライアンスは、質、スケーラビリティ、そして AGI 後の経済におけるビルダーの支援にコミットした 2 つのデベロッパー向けのインフラストラクチャプラットフォームを結びつけるものです。Stripe の大規模な顧客ネットワーク、ビジネス成長データ、および不正防止専門知識との統合により、市場慣性による影響で単一のモデルがデフォルトとなるのを防ぎながら OpenRouter がスケールするのを支援します。OpenRouter は現在、400 以上のモデルを通じて 1,000 万人以上のユーザーをサービスしており、2023 年初頭の設立以来、推論ボリュームは少なくとも 10 倍の年間増加を示しています。毎日大量のトークンを処理しています。取引は来週中に完了見込みであり、OpenRouter の製品、ミッション、名称、ロードマップ、ユーザー統合、またはルーティングロジックを変更することなく、判断は常にユーザーにとって最善のものに基づいて行われます。この提携は多様な AI エコシステムの育成を目指し、両社は異なる運営文化とスタートアップの機動性を維持することを可能にします。OpenRouter はグローバルな成長に伴い効率的な 90 名の体制を維持する予定であり、好奇心、厳格さ、主体性、透明性を備えた新しいチームメンバーを招致しています。

2026/08/20 3:33

Go 1.27

## Japanese Translation: Go チームはバイナリアーカイブと公式インストーラーを提供するとともに、言語仕様とツールングにおいて重要な進歩をもたらすバージョン 1.27 をリリースしました。主要な言語更新には、ジェネリックメソッド（例：`math/rand/v2.Rand`）、ネスト化済みまたは埋め込まれた構造体に対する直接フィールド選択、および汎用化された関数型推論が含まれます。ツールングの向上としては、`go fix` における 4 つの新しいモダナイザー（`atomictypes`、`embedlit`、`slicesbackward`、`unsafefuncs`）、`go doc` でのパッケージ@バージョン照会への対応、ならびに `go.mod` において統合されたブロックによる依存関係管理の簡素化が挙げられます。パフォーマンス向上は、サイズ特化型メモリアロケーションの導入により実現されており、これによって小規模オブジェクト（<80B）のコストを最大 30% 削減し、アロケーション負荷の高いプログラムの全体的なパフォーマンス向上を約 1% に貢献しています。セキュリティ面では、量子耐性のある ML-DSA 署名の統合と標準ライブラリ内蔵の UUID サポートによる強化が図られました。その他のハイライトとしては、実験的な SIMD サポート、安定性を高めるための一般利用可能な `goroutineleak` プロファイラー、`encoding/json/v2` の厳格なデフォルト設定、ならびにテスト用として新しいユーティリティである `NewTestServer` などがあります。

2026/08/20 3:36

Unsloth デイナミック 3.0 GGUF

## Japanese Translation: Unsloth Dynamic v3.0 のリリースは、同じディスクサイズで比較した場合の Qwen3.8-27B モデルに対して他社よりも優れた精度を実現しており、これが最大の成果となっています。このアップデートは前バージョンを踏襲し、クオンタイゼーション手法の改良と、小型ファイルサイズにおける特定モジュールの削除による容量削減を行いました。層選択の改善およびポストトレーニングクオンタイゼーション（PTQ）を通じて品質は維持され、過学習リスクを回避するために QAT/QAD は全く使用しません。このアプローチは、エージェントコーディングや多言語性能などの多様なタスクに最適化された高品質な imatrix カリブレーションデータセットを用いています。新しいベンチマーク結果では、Unsloth クォンツが最大 10% の高いトップ 1% 精度を達成することが示されており、これは標準的な Wikipedia データではなく、専門データセットから保持した例を利用する Divergence-300@32 および KL ダイバージェンスというメトリクスによって確認されました。早期プレビューでの成功の後に、5 日間で 510 万回のダウンロードが記録されました。ユーザーは今や、6.2GB の UD-IQ1_S バージョンなど、従来のモデルの最大 89% のサイズ削減が可能でありながら依然として高い精度を保持する高性能モデルを利用できるようになりました。業界全体の効率性は、小型ファイルから MTP モジュールを削除することで約 500MB のディスクスペースを節約し、Llama 4 および Wolfram Ravenwolf の実装における重大なバグも同時に修正されたことで向上しています。imatrix ファイルは直ちにコミュニティへのテスト、評価、ファインチューニングやバリエーションの作成に利用可能となっています。

DFlash 2：並列描画維持機能搭載 | そっか～ニュース