
2026/08/28 3:03
ジェミニ 3.5 転写
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Google は、より高度な音声インタラクションとリアルタイム文字起こしを目的とした、これまでの最も高精度な音声からテキストへの変換モデルである「Gemini 3.5 Transcribe」を正式に公開しました。前世代の Chirp 3 モデルと比較して、最終的な文字起こしまでの時間を 70% 短縮し、より低い単語誤り率(WER)を実現しています:ストリーミング用途では約 4.0%、非ストリーミング用途では 2.6% です。また、FLEURS ベンチマークにおいて、上位言語でストリーミングモードでは 5.50%、非ストリーミングモードでは 5.04% の WER を達成しています。従来のモデルが背景ノイズに苦戦するのに対し、Gemini 3.5 Transcribe は生音声データをそのまま整ったフォーマット付きテキストに変換し、ノイズが多い環境下でも動作します。さらに、「Smart Transcription」という機能により、自己修正を行い、埋め言葉(filler words)を除去、出力を自動整形し、画像生成などのタスクに対する関数呼び出し(function calling)もサポートしています。
開発者は、直ちに 2 つの専用 API を介してモデルを利用できます:亚秒単位のレイテンシを持つストリーミング向けの「Live API」(gemini-3.5-transcribe-live)と、話者属性付与が可能な録音音声向けの「Interactions API」(gemini-3.5-transcribe)です。このモデルでは 85 言語以上を支持し、カスタム語彙や専門用語を認識し、タイムスタンプ付きで最大 3 人の話者を識別し、郵便番号などの英数字エンティティもキャッチします。Gboard、Chrome、Gemini アプリ、Antigravity、Android(特定国では Rambler を介して)、macOS 上の Gemini アプリ、Google AI Studio(Build モード)など、Google の各プラットフォームに統合されており、Chrome 内のインラインディクテーションでも近日利用可能です。企業向けのアクセスは現在、Gemini Enterprise Agent プラットフォームを通じて利用でき、近日には Gemini Enterprise for Customer Experience でも利用可能になります。
高性能な音声インタフェースは、Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel、Vision Agents などを含むパートナープラットフォームを介して提供されます。初期採用者である vivo、Intellitek Health、Lingopal は、レイテンシ、精度、言語サポートについて肯定的なフィードバックを共有しており、医療分野など複数の産業で即効的な業務効率向上を実証しています。
本文
Gemini 3.5 Transcribe:革新的な音声認識モデルのご紹介
Google が発表した最新の音声認識モデル「Gemini 3.5 Transcribe」をご紹介します。従来のモデルとは異なり、背景雑音や専門用語、発話の不整合を自動的に整理するのではなく、生身の音声データをそのまま正確かつ洗練されたテキストへ変換します。
このモデルはすでに「Gemini アプリ」や Android デバイスで「Rambler」という機能として提供され、消費者からの支持を得ています。今後、開発者も Google AI Studio や Gemini Enterprise Agent Platform を通じて同様の能力を構築できるようになります。
より正確で知的な文字起こしを実現する機能
このモデルは自然な話し方を捉え、意図や独自の語彙を理解するように設計されています。声だけで高度なタスクを実行可能です。
- 高度な文字起こしの自動整形
- 訂正の修正(例:「金曜日に会おう——いいや、木曜日にしよう」)をシームレスに処理します。
- 「えー」「あー」といった口癖を除去し、テキストを自動的に整理します。
- 関数呼び出しによる複雑なタスク実行
- 画像生成やファイル分析などの複雑なタスクを、他の Gemini モデルに機能呼び出しを通じて委譲できます(※現在は macOS 版の Gemini アプリ で利用可能)。
- 業界最高レベルの精度
- Artificial Analysis の計測により、ストリーミング利用での平均単語誤差率(WER)は 4.0%、非ストリーミングでは 2.6% に達します。
- 雑音の多い現実環境でも強く機能し、番号や注文 ID などの数値・文字混在のエンティティも正確に捉えます。
- カスタム語彙への対応
- 提供する独自語彙に合わせて変換を調整することで、専門用語や特有の綴りを認識します。
- 85 以上の言語に対応
- 自動的に多様な言語を検出・変換し、地域的なアクセントや方言にもシームレスに対応します。
- 複数話者の識別
- 録音音声において最大 3 つの声源(3 人以上は実験段階)を正確に割り当て、タイムスタンプ付きで提供できます。
性能の著しい進歩
前回のモデル「Chirp 3」から大幅な進化を遂げています。レイテンシが大幅に低減され、最終的な文字起こしにかかる時間は 70% 短縮されています(Artificial Analysis 計測)。
FLEURS ベンチマークにおける主要言語・地域での性能は Chirp 3 を上回り、以下のような成果を上げています:
- ストリーミングモード: WER 5.50%
- 非ストリーミング利用ケース: WER 5.04%
スマート文字起こしと高度な入力命令の体験シーン
Google AI Studio や Gemini Enterprise Agent Platform を通じた API のほかに、標準的な音声認識モデル以上の能力を提供し、Google での作業をより自然かつ直感的にします。日常使いのインターフェース(Gboard、Antigravity など)へ文脈理解の能力を導入することで、ニュアンスや意図、行内編集などを捉えやすくなっています。
アプリ・デバイスごとの機能詳細
- Android 版 Gboard
- 新しい Rambler 機能により、口頭での思考(spoken thoughts)を整形式テキストに変換します。
- うっかり口にした言葉をフィルタリングし、音声を使って入力内容を修正・誤字を訂正・文章スタイルを変更可能です。
- Google Antigravity
- 画面コンテキストとチャット履歴を組み合わせて使用します。
- ファイル名やエージェントの思考、アクティブなドキュメントなどにおいてピッチパーフェクトな文字起こしを実現します。
- Google AI Studio
- ビルドモードでアクセス可能であり、声を介してアプリを開発(vibe coding)できます。
- macOS 版 Gemini アプリ
- 自由な自然発話をクリーンなテキストに変換するだけでなく、画面コンテキストと連携した音声コマンドも可能です。
- バックグラウンドで他の Gemini モデルを呼び出して重労働を引き受けます(ローカルファイルの要約、アプリ間でのテキストリユース、カーソル位置から画像生成など)。
- Chrome(近日公開予定)
- Web フィールド内で自由に話して入力できます。
- 返信の口述や投稿の下書き作成、あるいは Chrome 内で Gemini をより自然にプロンプトする機能が利用可能です。
先行レビューと開発者プラットフォーム
Gemini Live API を活用することで、Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel、Vision Agents などのプラットフォームが、高性能な音声駆動インターフェースの構築を容易にしています。これらは裏側で複雑なリアルタイムメディアストリーミングインフラを管理するため、開発者はユーザー体験の設計に集中できます。
また、以下のような企業からも低レイテンシ、高精度、広範な言語対応などの評価が寄せられています:
- vivo
- Intellitek Health
- Lingopal
今日から 3.5 Transcribe を使用し始める方法
状況に応じて最適なプラットフォームを選択してください。
- 開発者向け
- Google AI Studio または Google Antigravity を通じた Gemini API(パブリックプレビュー中)。
- 企業向け
- Gemini Enterprise Agent Platform(パブリックプレビュー中)。
- 近日中に Gemini Enterprise for Customer Experience にも対応予定です。
- 一般ユーザー向け
- macOS 版 Gemini アプリ(英語限定)
- Android 版 Rambler(特定の国・言語のみ)
- Chrome(近日公開予定)
注: Google の最新ニュースを受け取るには、製品更新や特別オファーに関するニュースレターにご登録ください。ご利用は Google のプライバシーポリシーに従うことを条件とし、退会もいつでも可能です。