NVIDIA Nemotron 3.5 Transcribe と Granary v2：多言語音声理解のオープンウェイトモデルとデータ基盤

概要：統合された能力とトップクラスの成績

• NVIDIA Nemotron 3.5 Transcribe は、文字起こし、話者識別（ダイアライゼーション）、翻訳、音声 Q&A を単一のチェックポイントに統合したオープンウェイトモデルです。
• Hugging Face Open ASR リーダーボード（英語カテゴリ）などでトップクラスの成績を収めています。
• 領域適応のためのオープンなデータ基盤 「Granary v2 データパイプライン」 とファインチューニングレシピも提供しています。

多言語音声処理とドメイン適応の必要性

文字起こしにおいて、単なる発音の記録だけでなく、以下の要素への対応が求められます：

• 話者の特定：「誰が何说了か」
• 翻訳戦略：「どのように翻訳すべきか」
• 用語表記：「ドメイン固有の用語をどう表記すべきか」

特定のニーズ（医療分野の口述録取、激しいペースの会議など）に合わせてモデルを最適化することが重要です。

---

モデルの主要機能と性能指標

言語対応と処理能力

• 文字起こし対応：40 カ国語に対応しています。
• 翻訳機能：31 言語を英語との間で相互翻訳可能です。
• 話者識別（ダイアライゼーション）：13 の言語で対応します。
• 最大容量：録音時間は最大 1 時間、話者は最大 8 名までサポートします。

パフォーマンスとリーダーボードでの順位

• Hugging Face Open ASR リーダーボード（英語カテゴリ）：オープンウェイトモデルで首位。
• Artificial Analysis フロンティア：「精度対アクティブパラメータ」フロンティア上に位置しています。
• David AI DAI-ASR-I18N リーダーボード：多言語ダイアライゼーションでは最低の誤差率（DER）を記録し、首位に達しました。
• VoiceArena Diarization-Bench：14 システム比較の中で首位にランクインしました。

今後の展開

• 量子化バージョン：近日中に提供される予定で、ローカル実行（RTX Spark など）およびデータセンター GPU（Blackwell）へのスケーリングが可能になります。

---

自然言語プロンプトによる柔軟な制御

単一のチェックポイントから、指示によって出力形式を自由に切り替えられます。

使用可能なタスクの例

• 文字起こし＋話者ラベル付け：「この録音を文字起こしし、各話者をラベル付けしてください。」
• 翻訳：「この音声を英語に翻訳してください。」
• 音声による Q&A：「この会議でどのような決定がなされましたか？」

具体的な実装例とガイドライン

• 高速対話への対応：1940 年の映画『His Girl Friday』のような重なり合う激しい対話でも精度を維持します。
• ドメイン適応のための文脈注入：
  • 医療分野などで未習語を扱う場合、事前トレーニングで文脈を与えます。
  • プロンプト例：「この医療議論を元の言語で文字起こしてください。使用可能な用語：HbA1c、メトホルミン。音声に裏打ちがある場合のみこれらの用語を使用してください。」

モデルカードと品質チェック

モデルカードには推奨プリセットや完全なプロンプトガイドが含まれています。ただし、以下の点には注意が必要です：

• 言語サポートはタスクによって異なります（例：音声 Q&A は英語でトレーニングされています）。
• 単語単位のタイムスタンプもサポートしています。
• 重要：名前や話者の切り替わり、回答などを録音と照合してスポットチェックを行ってください。

---

Granary v2：オープンデータキュレーションパイプライン

Granary v2 は、プロンプト可能なモデルをトレーニングするための高品質なデータを構築・提供する再利用可能なパイプラインです。

データセットの内容

• 規模：48 カ国語、16 のソースコーパス、合計463,062 時間。
• 前バージョン（v1）の 25 カ国語から大幅に拡張されています。

生成されるトレーニングターゲット

同じ発話に対して多様な形式でデータを生成します：

1. テキスト正規化済み（verbatim）：「I paid, uh, twenty-five euros.」
2. 逆テキスト正規化（disfluencies あり）：「I paid, uh, €25.」
3. 逆テキスト正規化（disfluencies なし）：「I paid €25.」
4. その他、音声キャプション、コードスイッチング修復、Q&A ペア、自動品質スコア付き翻訳など。

パイプラインの 4 つのステージ

1. 音声準備（メタデータ）：セグメント化、話者追跡、タグ付け（Granary v2 では既に行われています）。
2. 文字起こし（ASR）：複数モデルによるフェールオーバー処理と人間参照との統合。
3. タスクラベル生成：幻覚チェックや品質メタデータの付与。
4. 高忠実度（HiFi）：ノイズの多いデータ除外、少量の高品質録音の保持。

---

ファインチューニングとドメイン適応レシピ

NeMo Speech ツールと Granary v2 を組み合わせることで、アプリケーション特有の音声に適応できます。

医療分野での成果

• 改善事例：保持アウト話者に対する単語誤り率（WER）が、最高プロンプト基準から**45.8%**改善されました。
• データ構築方法：
  • 合成音声による書式ターゲットと発話表現の分離。
  • 実際の録音におけるアクセントや条件の追加。
  • 訓練データのフィルタリング（完全一致、共有シーケンスなど）。
  • 数値表記、単位間スペース、固有名詞への適応処理。

トレーニングワークフロー

• 手法：スピーチエンコーダとプロジェクションをトレーニングし、言語モデルにはLoRAを用いて適応させます。
• 最適化：異なるデータミックスを使用し、アダプタマージ後の均一平均化で最終モデルを作成します。
• 効率性：全適応プロセスは 1 台の NVIDIA GB300 で約14 GPU 時間で完了しました。

評価結果（保持アウト話者における性能）

Eka Care のケーススタディにおいて、ファインチューニングによる効果は顕著でした：

• WER 削減率：**45.8%**の相対的減少（12.17% から 22.44%へ）。
• その他の指標改善：
  • キーワード WER：9.2% → 6.5%
  • 意味的 WER：10.0% → 7.6%
• 比較優位性：適応モデルは、オープンな医療専門家モデルおよび汎用 ASR モデルよりも高い精度を達成しました。

---

始め方とリソース

アクセス方法

• デモ試行：Hugging Face デモまたは ModelScope Studios で利用可能です。
• チェックポイントダウンロード：Hugging Face または ModelScope から入手可能。
• セルフホスト：vLLM や SGLang-Omni を使用できます（Baseten などのホスティングも利用可能）。

主なリポジトリとドキュメント

• NVIDIA NeMo Speech GitHub：主要なコードベース。
• NeMo Curator Granary v2 パイプライン：データ準備ツール。
• vLLM デプロイメントガイド：高速推論設定。
• スピーチファインチューニングガイド：適応手法の詳細。

関連リソースとパートナー

• データセットマニフェスト：Granary v2（Hugging Face / ModelScope）
• パートナーブログ：Agora、Inflection AI、VoiceArena など
• ローカル AI：NVIDIA RTX PC や DGX Spark での実行方法