← 2026-10-21 の一覧へ戻るホーム
DeepInfer：DeepSeek モデル向けの高性能推論フレームワーク

2026/10/20 18:08

DeepInfer：DeepSeek モデル向けの高性能推論フレームワーク

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

DeepInfer は、NVIDIA SM100 GPU および Huawei Ascend 950 NPU 上でスケールサービング能力を備え、DeepSeek-V4.1-Flash モデルの DeepSeek の本番サービスを支えるオープンソースの高パフォーマンス推論フレームワークです。主に vLLM に構築され、SGLang および TensorRT-LLM を念頭に置いて設計されています。最適化されたカーネル（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang）と、Attention DP、バランスの取れた CP、MoE EP+EPLB、DSpark、信頼度に基づく検証、SWA 有界再生非同期スケジューリング、バッチ不変推論、決定論的サンプリング、構造化出力（regex/JSON スキーマ/EBNF）を含む高度な並列化戦略を支援します。

コア機能は環境変数経由で設定可能であり、DEEPINFER_ENABLE_MTP_VARLEN=1 で DSpark/検証を有効化し、DEEPINFER_USE_NEXTN_DECODE（デフォルト：5）で最大ドラフト長を制御します。デフォルトの V4.1 設定に対しては、DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact と DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 でデコーダー SWA 有界再生非同期スケジューリングを設定します。デフォルトで CPU バッチスケジューリングとデバイス実行のオーバーラップを可能にするため、非同期スケジューリングを有効化し、NVIDIA 上で DEEPINFER_BATCH_INVARIANT=1 でバッチ構成間での同等の結果を実現するバッチ不変推論を活性化します。DEEPINFER_BATCH_INVARIANT=1、DEEPINFER_ENABLE_MTP_VARLEN=0、SamplingParams の固定 seq_seed を使用することで NVIDIA 上で決定論的サンプリングを実現し、SamplingParams に so_args={"schema_type": ..., "schema": ...} を渡すことで生成を regex/JSON スキーマ/EBNF に制限します。

完全な本番環境のセットアップには、専用の KV キャッシュシステムの統合、 disaggregated 形式での prefill/decode 操作の実施、およびデータ並列レプリカ間での負荷分散（初回リリースには含まれていない）が最終的には必要となる可能性があります。ユーザーは Linux、GCC ≥13.0、Python 3.12、CUDA 13（NVIDIA）または CANN 9.2（Ascend）、そして空の Python 3.12 環境の作成、DEEPINFER_ACCELERATOR=nvidia または ascend のエクスポート、および ./build.sh の実行からすぐに始めることができます。オフライン推論はデフォルトで deepseek-ai/DeepSeek-V4.1-Flash-1017 チェックポイントを使用し、初回実行時に Hugging Face キャッシュにダウンロードするか、DEEPINFER_HF_MODEL_DIR を介してオーバーライドします。例コマンドは python examples/offline_inference.py です。パフォーマンスベンチマークは 1 スケールアップドメイン内での prefill に 4 SM100 GPU、decode に 64 を使用して測定されました（再現は run_sweep.sh で可能；詳細は eval/README.md を参照）。このフレームワークは Apache License 2.0 の元でリリースされており、GitHub（https://github.com/deepseek-ai/DeepInfer）上で DeepSeek-AI（2026）に帰属しています。

本文

DeepInfer：DeepSeek 大規模推論フレームワークの紹介

概要

DeepInfer は、DeepSeek の大規模生産環境サービスを支える高パフォーマンスな推論フレームワークです。今回のオープンソースリリースには、スケール対応したサービス提供に不可欠の中核機能を含むオフライン推論機能が備わっています。

対応するモデル

  • DeepSeek-V4.1-Flash

主要機能リスト

以下の特徴的な機能を搭載しています：

  • 最適化されたカーネル・ランタイム: モデル、サンプリャー、およびカスタム TileLang カーネルへの対応。
  • 高度なパラレル処理:
    • アテンション DP（データ並列）/ バランスの取れた CP（テンソル並列）
    • MoE EP + EPLB（專家並列＋並列バランシング）
  • DSpark と信頼度ベースのスケジューリングによる検証
  • SWA 境界付きリプレイ: デコーダーのプリフィル作業量削減。
  • アシンクロネバススケジュールリング: ゼロオーバーヘッドのバッチスケジューラを実装。
  • バッチ非依存推論: モデル結果の構成不変性を保証。
  • 決定論的サンプリング: 同一入力で常に同一出力を生成。
  • 構造化された出力: JSON スキーマや正規表現による出力制限。

機能の詳細と設定方法

各機能に対する具体的な設定項目と環境変数を整理します。

1. 最適化されたカーネル

以下のコンポーネントが採用されています：

  • FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect
  • カスタム TileLang カーネル

2. DSpark と信頼度ベースの検証スケジューリング

ドラフトトークンによるデコード加速と、信頼度見積もりを用いた検証スケジュールを行います。

# 有効化設定
export DEEPINFER_ENABLE_MTP_VARLEN=1

# 最大ドラフト長の制御（デフォルト：5）
export DEEPINFER_USE_NEXTN_DECODE=<設定値>

3. デコーダー用 SWA 境界付きリプレイ

V4.1 のデフォルト設定では、以下のパラメータを指定します。保持されるサフィックスは、SWA ウィンドウと最大バックトラック長の合計をカバーする必要があります。

export DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact
export DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140

4. アシンクロネバススケジュールリング

CPU 側のバッチスケジューリングをデバイス実行とオーバーラップさせます。

  • デフォルトで有効です。

5. バッチ非依存推論

NVIDIA GPU のみでの動作です。モデルの結果がバッチの構成によらず同一を保証します。

# NVIDIA GPU 限定の有効化設定
export DEEPINFER_BATCH_INVARIANT=1

6. 決定論的サンプリング

入力トークンおよびサンプリングパラメータが同一であれば、常に同一の出力を生成します。NVIDIA GPU のみでの動作です。

必須設定:

  • DEEPINFER_BATCH_INVARIANT=1
    の有効化
  • DEEPINFER_ENABLE_MTP_VARLEN=0
    の設定

実装例:

SamplingParams に固定された `seq_seed` を渡してください。

7. 構造化された出力

生成プロセスを正規表現、JSON スキーマ、または EBNF グラマーに制限します。

利用方法: SamplingParams に以下を渡して利用します（詳細な例はドキュメント参照）。

so_args={"schema_type": "...", "schema": "..."}

対応ハードウェア

ハードウェアチップセット
NVIDIASM100 GPU
Huawei Ascend950 NPU

注意: 完全な推論サービスには以下のコンポーネントが必要ですが、本リリースでは含まれていません：

  • KV キャッシュシステム
  • VE/Prefill/Decode の分離（多数のエンジン機能は既に実装済み）
  • プリフィルおよびデコードにおけるデータ並列レプリカ間での負荷分散

開始方法

前提条件

ビルド前に以下の環境を確保してください：

  • OS: Linux
  • コンパイラ: GCC >= 13.0
  • 言語: Python 3.12
  • CUDA: 13（NVIDIA GPU のみ）
  • CANN: 9.2（Ascend プラットフォームのみのみ）

ソースコードからのビルド

空の Python 3.12 環境を作成し、アクティブ化してください。

# アセラータの指定（Ascend の場合は 'ascend' を使用）
export DEEPINFER_ACCELERATOR=nvidia

# ビルド実行
./build.sh

オフライン推論

デフォルトのチェックポイント 

deepseek-ai/DeepSeek-V4.1-Flash-1017
は、最初の実行時に Hugging Face キャッシュにダウンロードされます。

ローカルのコピーから動作させる場合は、以下の環境変数を設定してください：

export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017

実行コマンド:

python examples/offline_inference.py

詳細は「例」のセクションをご覧ください。

パフォーマンスベンチマーク

測定環境：プリフィル用 4 つの SM100 GPU、デコード用 64 の SM100 GPU（それぞれ同一のスケーリング領域内）。

メトリック値
プリフィル（ベンチマークデータ）
デコード（ベンチマークデータ）
  • ベンチマークの再現については 
    run_sweep.sh
    を参照してください。
  • 評価ベンチマークの詳細は 
    eval/README.md
     をご参照ください。

ライセンス

DeepInfer は Apache License 2.0 に基づいてリリースされています。詳細は LICENSE ファイルをご確認ください。

謝辞

DeepInfer は主に以下のプロジェクトを基盤として構築され、多くのインスピレーションを得ています：

  • vLLM
  • SGLang
  • TensorRT-LLM

これら各プロジェクトの開発者に感謝申し上げます。

引用

@misc{deepinfer2026,
  title={DeepInfer: High-performance, large-scale inference framework for DeepSeek models},
  author={DeepSeek-AI},
  year={2026},
  publisher={GitHub},
  howpublished={\url{https://github.com/deepseek-ai/DeepInfer}},
}

同じ日のほかのニュース

一覧に戻る →

2026/10/21 3:29

許認可付きシムシティ

## Japanese Translation: 「Permit Pending」は、プレイヤーの役割を全能な計画者から市町村行政の実態に直面する脆弱な選出された職吏へと転換させることで、都市シミュレーションを再定義します。明確な勝利条件を持つ従来のゲームとは異なり、このサンドボックス体験は市民が市長を罷免するまで無限に続き、成功の鍵はインフラを整備することのみならず、複雑な官僚主義と政治的課題に対応して生き延びるかに依存することが強調されています。すべての建設プロジェクトは必要な審議会の招集、法的レビュー、さらには潜在的な訴訟を引き起こし、霧などに関する懸念を抱える住宅所有者、業界団体、環境保護主義者からの自然な反対を誘発します。プレイヤーは 4 年ごとの再選に直面する 7 議席の評議会において多数派を維持するため、公聴会で譲歩を行わなければなりません。有権者 turnout が高いグループは時間とともに過剰な影響力を行使するため、変動する政治情勢への適応が求められます。ヒートマップなどの診断ツールにより住民の人口統計が可視化され、特定の政策がなぜ反発やゲーム内の新聞「The Gazette」で報じられたスキャンダルへと至るのかを説明します。いくつかの法的訴訟は市長の任期を超えて継続することもでき、インフラストラクチャに関する決定は土地価格、家賃、雇用、税金、サービスにわたって実質的な経済における予期せぬ結果を生み出します。ブラウザベースのサンドボックスであり勝利画面やキャンペーンモードを備えず、最初の訪問後にはオフラインで動作し、プレイヤーは村として新たなスタートを切るか、他人の都市から既存の問題を引き継ぐことができます。

2026/10/21 7:21

連邦当局は、ランサム交渉担当者による ShinyHunters の金銭要求サイト運営を疑っている

## Japanese Translation: # 結論： 調査は驚くべき事実を明らかにしており、主要なランサムウェア集団「ShinyHunters」が、その伸縮サイトの管理を担当する米国の企業やカナダの企業のトップ経営者から直接的な支援を受けていることが判明した。従来の助言とは異なり、これらの仲介人は積極的に交渉を促進し、場合によっては被害者よりも先に機密データの窃取の詳細を知っていることもある。あるカナダの経営者は、脅迫される前に政府機関のファイルが盗まれていたことをFBIに報告しなかった。この深い協力関係は2019年以来進化しており、殺人依頼計画を含む計画や、「Rey」のような現在の指導者を「Ghostbyte」であるDaniel Tobokなどの以前の人物と結びつけるものも含まれている。 このスキャンダルは業界内で重大な利益相反の問題を浮き彫りにしている：ランソムの一部割合を受け取る仲介人は、攻撃を止めるのではなく、結果としてより高い支払いを促すように無意識に動機付けられる可能性がある。起訴はEdward Dubrovskyのような個人や未起訴の米国コンサルタントを対象としており、企業の過失か積極的な共犯が深刻な法的結果をもたらすことを示している。当局は被害者にランソムの支払いを行わないよう明確に警告しており、データは通常二次的な伸縮のために利用可能であり続けるためである。最終的に、この事件は以前会社を支援していた交渉サービスに対する信頼を破壊しており、一部のサイバー犯罪ネットワークが効果的に動作するためには内部の経営者への依存が不可欠であることを証明している。 ## Text to translate: Summary: A disturbing investigation reveals that major ransomware group ShinyHunters receives direct support from high-level executives at U.S. and Canadian firms who manage its extortion websites. Unlike traditional advice, these intermediaries actively facilitate negotiations, sometimes knowing sensitive data theft details before the victims do. One Canadian executive failed to alert the FBI regarding stolen agency files prior to their threatened release. This deep collaboration has evolved since 2019, involving plans for murder-for-hire and linking current leaders like "Rey" to former figures such as Daniel Tobok ("Ghostbyte"). The scandal highlights a critical conflict of interest within the industry: negotiators charging percentages of ransoms may inadvertently incentivize higher payments rather than stopping attacks. Prosecutions are now focusing on individuals like Edward Dubrovsky and uncharged U.S. consultants, demonstrating that corporate negligence or active collusion carries severe legal consequences. Authorities explicitly advise victims against paying ransoms, as data often remains accessible for secondary extortion. Ultimately, this case destroys trust in negotiation services that previously assisted companies, proving that some cybercriminal networks rely entirely on insider executives to operate effectively.

2026/10/21 1:02

ヴォクストラル3

## Japanese Translation: Voxtral 3 は、50 以上の言語にわたるリアルタイムかつ多段階の会話をサポートするように設計された最先端の音声モデルファミリーとボイスエージェント SDK を導入します。その核心となるイノベーションは、聞き取り、推論、話しかけ、およびターン終了検出を単一の簡素化されたパイプラインに統合する能力にあります。これにより、ターンのあたり 1 秒未満という超低遅延を実現し、同身份確認、請求書照会、予約予約などの複雑なワークフローを可能にします。このアーキテクチャは、AI エージェントが接続されたシステム上で関数呼び出し、ウェブ検索、レトリバルといった特定タスクを実行することを許可するものであり、これにより多様な業務フローが支えられます。 性能は顕著です。Voxtral Small Transcribe 3 モデルは、Whisper、Gemini 3.5 Transcribe、Scribe v2、Microsoft AI Transcribe 2 など主要競合他社に対し、多言語正確性、ダイアライゼーション（話者分離）、コンテキストバイアス制御において優位を維持しつつ、500ms 未満の超低遅延を実現しています。TTS コンポーネント（Voxtral Mini TTS 3）は、35 の以上の言語と方言を超えて会話文脈に動的に適応し、発音習慣、正式・非形式レジスタ、地域固有フォーマットを遵守します。また、Pro Voice アダプテーション機能では、わずか 30 分の音声データだけで話者の特徴的な性格や感情の幅を再現可能となっています。Voice Code Bench の評価では、Voxtral TTS は独自の名前・数字の発音、表現豊かな英語、多言語サポートにおいて競合他社を上回る「コスト対品質比」を達成していることが確認されています。 最も重要なのは、このソリューションがデータプライバシー懸念に対応しており、主権対応デプロイメントオプションを提供することで、企業がモデルをプライベートインフラストラクチャ上にホストするか、Mistral の EU ホスト API を使用できるようにしています。透明な価格設定（音声認識は 1 分あたり $0.0035 より始まる、音声処理は 100 万文字あたり $13）により、組織は既存システムに高度な AI エージェントをコスト効率よく統合でき、セキュリティ・速度・データ主権を損なうことなくコンタクトセンターやバーチャルアシスタントの効率向上を実現できます。

DeepInfer：DeepSeek モデル向けの高性能推論フレームワーク | そっか～ニュース