
2026/10/21 1:02
ヴォクストラル3
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Voxtral 3 は、50 以上の言語にわたるリアルタイムかつ多段階の会話をサポートするように設計された最先端の音声モデルファミリーとボイスエージェント SDK を導入します。その核心となるイノベーションは、聞き取り、推論、話しかけ、およびターン終了検出を単一の簡素化されたパイプラインに統合する能力にあります。これにより、ターンのあたり 1 秒未満という超低遅延を実現し、同身份確認、請求書照会、予約予約などの複雑なワークフローを可能にします。このアーキテクチャは、AI エージェントが接続されたシステム上で関数呼び出し、ウェブ検索、レトリバルといった特定タスクを実行することを許可するものであり、これにより多様な業務フローが支えられます。
性能は顕著です。Voxtral Small Transcribe 3 モデルは、Whisper、Gemini 3.5 Transcribe、Scribe v2、Microsoft AI Transcribe 2 など主要競合他社に対し、多言語正確性、ダイアライゼーション(話者分離)、コンテキストバイアス制御において優位を維持しつつ、500ms 未満の超低遅延を実現しています。TTS コンポーネント(Voxtral Mini TTS 3)は、35 の以上の言語と方言を超えて会話文脈に動的に適応し、発音習慣、正式・非形式レジスタ、地域固有フォーマットを遵守します。また、Pro Voice アダプテーション機能では、わずか 30 分の音声データだけで話者の特徴的な性格や感情の幅を再現可能となっています。Voice Code Bench の評価では、Voxtral TTS は独自の名前・数字の発音、表現豊かな英語、多言語サポートにおいて競合他社を上回る「コスト対品質比」を達成していることが確認されています。
最も重要なのは、このソリューションがデータプライバシー懸念に対応しており、主権対応デプロイメントオプションを提供することで、企業がモデルをプライベートインフラストラクチャ上にホストするか、Mistral の EU ホスト API を使用できるようにしています。透明な価格設定(音声認識は 1 分あたり $0.0035 より始まる、音声処理は 100 万文字あたり $13)により、組織は既存システムに高度な AI エージェントをコスト効率よく統合でき、セキュリティ・速度・データ主権を損なうことなくコンタクトセンターやバーチャルアシスタントの効率向上を実現できます。
本文
Voxtral 3:次世代音声エージェント SDK と言語モデル
Voxtral 3 は、50 以上の言語に対応するリアルタイム多段階会話を実現する最先端の音声エージェント SDK および言語モデルです。 正確な文字起こし、感情豊かな自然な音声合成、そしてシームレスなワークフロー自動化を可能にする深層ツール統合を搭載しています。
Mistral の EU ホスト API によるアクセスまたはオンプレミスでのセルフデプロイをサポートしており、データ主権を確保しつつ、コールセンターや仮想アシスタントなどにおける低遅延で人間らしい対話を提供します。
🚀 課題と解決策
音声文字起こしや生成技術は進化しましたが、聞き取り・推論・対話・複雑なワークフローを処理できるエンドツーエンドの音声エージェントの実装は依然として困難でした。 信頼性の高い音声エージェントには、以下の 4 つの機能 を同時に極めて高いレベルで実装する必要があります。
- 正確な聞き取り: 言語、アクセント、話者、割り込みがあっても正確に認識する。
- 深い推論: 文脈に基づいてユーザーの意図を深く理解する。
- 自然な発話: 感情や表現豊かな口調で話す。
- 多段階アクション: 連携されたシステムを介して複雑なタスクを実行する。
これら 4 つをリアルタイムかつ確実に連携させるのが課題でした。Voxtral 3 は、最上位水準の音声からテキストへ(STT)およびテキストから音声へ(TTS)のモデルファミリーに加え、これらの機能を一つのリアルタイムストリーミングパイプラインに統合した SDK です。
- 対応シナリオ: コールセンターのエージェント、サービスデスク、仮想アシスタント、ハンズフリーコパイロットなど。
- 設計思想: 数十の言語に対応し、表現豊かな発話と高度な推論機能により、ニュアンスに富む意図を読み解き、洗練されたリクエストに対して多段階のアクションを完遂します。
- 主権的な展開(Sovereign Deployment): Mistral の EU ホスト API またはユーザー自身のインフラでのセルフデプロイが可能。組織がデータの扱い方や会話が記録されるかどうかを完全に制御できます。
✨ メインの特徴
1. 50 以上の言語に対応する正確な文字起こし
音声からテキストへの変換モデルである Voxtral Small Transcribe 3 は、多言語文字起こしの最上位水準を達成しています。
- ダイアライゼーション: 誰が何を言ったかを識別可能。
- 文脈バイアス機能: 専門用語の再現率(recall)を向上させます。
- ターム終了検出: 話者が喋り終わったタイミングを検出するため、エージェントは遅延なく回答できます。
2. 会話を適応させる自然な発話
テキストから音声への変換モデルである Voxtral Mini TTS 3 は、会話文脈に応じて感情・ペース・強調を調整する新しいボイスを導入しました。
- 対応言語: 35 以上の言語。
- 対応方言: 50 以上にわたる方言に対応。
3. あなたの(spoken)コマンドに応じた人間並みの知能
新しい音声エージェント SDK は、聞き取り・推論・ツール呼び出し・発声を一つのリアルタイム体験に統合します。
- エージェントは通話中に情報を検索したり、業務システムと対話したり、タスクを完了できます。
4. 明確な精度適応のための「プロボイス」
単なるボイスクローニングでは不十分な専門的ユースケースにおいて、Voxtral の Pro Voice アダプテーション機能は有効です。
- わずか 30 分間の音声データを使用して、話者の特徴的なキャラクター、感情の幅、話し方をあらゆる言語で再現可能です。
5. あなたのインフラ上のあなたの AI ボイス
Mistral の EU ホスト API または独自のインフラへのデプロイをサポート。
- 機密性の高い対話を環境内で保持し、音声データの管理を組織が行えます。
📝 文字起こしの機能:Voxtral Small/Mini Transcribe 3
言語サポートと性能
対応言語は 50 言語に拡大しました(24 の EU 公式言語+アジア語やインドネシア諸語など)。
- Small バージョン: ダイアライゼーションと多言語文字起こしで最上位水準。英語、フランス語、スペイン語でも高性能。Whisper や Gemini を凌駕する性能を発揮。
- Mini バージョン: 40 億パラメータを持ち、1 分あたり $0.0035という安価かつ高速な文字起こしが可能。
両モデルとも 文脈バイアス機能をサポートし、キーワートやフリーフォームテキストを与えて専門用語の再現率を向上させることができます。ドメイン固有の語彙を持つ生産環境でもファインチューニングなしで使用可能です。
ベンチマーク結果(FLEURS 45)
データは「強制誤字率 (WER)」対「推測誤字率」に基づく*(値が低いほど良い)**。*
| モデル | 強制 WER | 推測 WER |
|---|---|---|
| Voxtral Small Transcribe 3 | 4.1% | 4.0% |
| Voxtral Mini Transcribe 3 | 4.6% | 4.5% |
| Scribe v2 | 6.1% | 4.9% |
| Gemini 3.5 Transcribe | 6.3% | 5.6% |
| Whisper large-v3 | 16.0% | 14.9% |
対応言語例: アラビア語、ベンガル語、ブルガリア語、中国語、デンマーク語、オランダ語、英語、スペイン語、フランス語、ドイツ語、ヒンディー語、日本語、韓国語、ポーランド語、ロシア語、タイ語、トルコ語、ウクライナ語など。
ダイアライゼーションベンチマーク
誰が何时話したかを識別する精度(連結最小置換誤字率 cpWER)。値が低いほど良い。
| モデル | cpWER |
|---|---|
| Voxtral Small Transcribe 3 | 18.4% |
| Voxtral Mini Transcribe 3 | 18.6% |
| Microsoft AI Transcribe 2 | 19.0% |
| Pyannote Orchestrator | 20.3% |
| Voxtral Mini Transcribe 2 | 23.0% |
| Scribe v2 | 30.9% |
| Gemini 3.5 Transcribe | 38.4% |
キーフレーズの再現率(文脈あり vs なし)
値が高いほど良い。Voxtral Small Transcribe 3 はハイライト表示。
| モデル | 文脈なし | 文脈あり | 上昇分 |
|---|---|---|---|
| Voxtral Small Transcribe 3 | 94.6% | 81.4%※ | +3.2 ポイント* |
| Scribe v2 | 87.3% | 80.9% | -6.4 ポイント |
| Gemini 3.5 Transcribe | N/A | N/A | N/A |
*注:文脈なしの再現率に対する相対的な改善を示しています。
人工分析ベンチマーク(リアルタイム)
エージェント向けユースケースに最適化され、35 以上の言語で 500ms 未満の低遅延を実現します。
| モデル | WER(値が低いほど良い) |
|---|---|
| Voxtral Mini Transcribe 3 (*) | 4.0% |
| Gemini 3.5 Realtime Transcribe | 4.2% |
| Voxtral Mini Realtime 3 (2400ms) | 5.7% |
| Microsoft AI Transcribe 2 Streaming | 5.8% |
| Voxtral Mini Realtime 3 (960ms) | 6.0% |
| GPT Live Transcribe | 7.4% |
| Scribe v2 Realtime | 8.4% |
- (*) Voxtral Mini Transcribe 3 はオフラインベースラインです。残りはリアルタイム対応。
ターン終了予測
ネイティブサポートにより、音声情報と意味情報を組み合わせてユーザーの喋り終わりの瞬間を正確に予測します。
- 利点: 低遅延の実現と、早すぎる割り込みによる誤切断(false cut-off)の最小化。
🗣️ テキストから音声へ(Voxtral Mini TTS 3)
Voxtral TTS は 35 の言語以上と地域の方言に対応し、発音の方言差やフォーマルさ、地域習慣(時間・日付・通貨など)を遵守して生成します。
ボイスプリセット
18 の言語でボイスプリセットが利用可能です。
- アラビア語(エミレーツ)、ブラジルポルトガル語、カタルーニャ語、中国語(マンダリン)、オランダ語、英語(米・英)、フランス語(仏)、ドイツ語、ギリシャ語、ヒンディー語、イタリア語、韓国語、ノルウェー語、ロシア語、スペイン語(西)、ベトナム語。
表現力と品質
- コスト効率: 100 万文字あたり $13。OpenAI TTS-1 や ElevenLabs Flash、Gemini Flash などと同性能で安価に運用可能。
- 機能: 文脈の意味を暗黙的に解釈し、多様な感情と言語に対して自然な発話を生成。
- Pro Voice(30 分以上のサンプルからのボイスクローニング)
- カスタムプロンプトによる指示従順性(IF)
- 文脈認識 TTS
- 語彙ライブラリ
発音制御と多言語品質
- 発音制御: 稀な言葉や造語を含むターゲット単語の意図通りの発音率が非常に高い。
- 多言語サポート: 11 の言語にわたる高い平均判定スコア。
- 表現豊かな英語: 多様な感情プロンプトにおいて優れたパフォーマンス。
🤖 音声エージェント SDK
アーキテクチャ
LiveKit ベースの SDK で、入力音声・推論・出力音声を一つのストリーミングパイプラインとして実行します。
- 聞き取り: Voxtral Mini Transcribe Realtime 3 が聴取し、ターム終了を検出。
- 推論: Mistral Small などの LLM が思考しツールを呼び出す。
- 発話: Voxtral Speech 3 が会話のトーンに合わせて回答。
非同期処理により各ターンの完了は 1 秒未満。割り込みが発生した場合は即座に喋り止めを行い、通話中はウェブ検索やシステム連携で身元確認や予約操作などを自動化します。SIP または WebRTC 経由で既存のテレフォニーやコールセンターソフトウェアと接続可能です。
柔軟性
各ステージは独立したモデルのため、LLM や音声モデルを変更してもエージェントを再記述する必要はありません。欧州や独自のインフラストラクチャでも Mistral API を通じてスタック全体を実行できます。
対話例: エージェント: 「Mistral にご連絡いただきありがとうございます!AI Studio のログインでご不便をおかけしておりますが、メールアドレスの確認もよろしいでしょうか?」 ユーザー: 「こちらにある elena.vance82@yahoo.com が正しいでしょうか?」
💰 プライシングと利用状況
モデル価格表
| モデル | タイプ | 価格 |
|---|---|---|
| Voxtral Mini Transcribe 3 (バッチ) | バッチ処理 | $0.0035/分 |
| Voxtral Mini Transcribe Realtime 3 | リアルタイム | $0.008/分 |
| Voxtral Small Transcribe 3 | バッチ/リアルタイム | $0.0040/分 |
| Voxtral Speech 3 (バッチ・リアルタイム) | 共通 API | 100 万文字あたり $13 |
| Mistral Small 4 を使用した音声エージェント API | 推論 | $0.04/分 |
| その他推論モデルを使用する音声エージェント API | 推論 | $0.08/分 |
アクセス方法
Voxtral 3 は、今日から欧州、米国、グローバルエンドポイントを通じてミストラル API を通じて利用可能です。
- Studio プレイグラウンドで音声エージェント、文字起こし、音声生成、ボイスクローニングをテストできます。
- オンプレミスまたはプライベートクラウドでのフルスタック実行については、チームへご相談ください。