
2026/10/13 20:27
EmbeddingGemma 2 を音声認識モデルに変えました
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
EmbeddingGemma 2 は、テキスト、画像、音声、動画を単一の共有空間で扱う革新的なマルチモーダル埋め込みモデルです。このベースモデルを音声からテキストへの変換システムに変換することで、外部 GPU を使用せずに Apple Silicon Mac で完全にオンデバイスでの処理を実現します。音声エンコーダは変更せず、音声スライスをテキスト空間にマッピングする小さな「リーダー」コンポーネントのみを訓練しました。このリーダーは、オープンライセンスの英語の音声データを用いて 8×H100 GPU で約 2 時間の訓練を行い、ベースモデルは当初から音声からテキストへの変換には訓練されていませんでした。
エントリーレベルの M3 MacBook Air(Neural Engine搭載、RAM 8GB)において、EmbeddingGemma Transcribe はリアルタイムファクター 288 倍に達します—that is、約 12.6 秒で 1 時間の音声データを転記します。比較のため、同じハードウェア上で MLX と GPU を使用した IBM Granite Speech 5.0 Turbo は約 150 倍の速度(1 時間あたり約 25.7 秒)で動作します。NVIDIA Parakeet TDT バリアントおよび Phonon-2 へのベンチマークは、FluidAudio が公開した M4 Pro および M5 Pro Mac のデータに基づくものであり、直接的な同等比較ではありません。
現在の単語誤認率は約 5% で、先導的な音声モデルの 2~3% よりやや高くなりますが、開発者は将来のバージョンで精度向上を計画しています。システムはプライバシー保護のために Neural Engine 上でのみ動作し、オーディオデータがデバイス外部に流出しません。ユーザーはキーボードショートカット(右 Option キーを押しながら発話)またはオーディオファイルのドロップインによって音声入力が可能です。macOS 14 以上かつ Apple Silicon を搭載するあらゆる macOS アプリケーションとの統合に対応しています。v1.6 リリースでは初回起動時に約 715MB のモデルがダウンロードされ、転記に句読点と大文字付けを追加するための小さな追加モデルも含まれています。
本文
EmbeddingGemma 2 を音声認識モデルへ転用:MacBook Air で 1 時間を 13 秒へ
概要
Google のEmbeddingGemma 2という埋め込みモデルを転用し、音声認識タスクを実現しました。
- 実装環境: MacBook Air(ベースモデル)一台だけで完結
- 処理速度: 約 13 秒 で 1 時間のオーディオデータをテキスト化可能
ダウンロード情報 (Mac 向け・無料)
- バージョン: 1.6
- 対応 OS: macOS 14 以降
- 要件: Apple チップ搭載 Mac は、初回起動時に715 MBのモデルが自動ダウンロードされます。
技術的な仕組み
EmbeddingGemma 2 はテキスト、画像、音声、映像を一つの共有空間に統合するマルチモーダルモデルです。
- 基本原理: ある単語が発音された音声データは、書かれた単語と同じベクトル空間内に位置するため、空間から直接言葉を「朗読(再構成)」させることができます。
- 処理フロー:
- EmbeddingGemma 2 の音声エンコーダをそのまま使用します。
- 「小さなリーダー(リーダ)」モデルが、短いスライス単位で音声をテキスト空間へ移動させます。
- 英語辞書内の約 229,000 語と類似度が高い単語を選び、スライスごとに並べて台本(トランスクリプト)を作成します。
- 小さな追加モデルが句読点と大文字を追加して整形します。
トレーニング詳細
トレーニングは「リーダー」モデルのみを対象に行われました。
- 学習環境: 8 個の H100 GPU を使用
- データソース: 公開ライセンス下で収集された英語音声データ
- 学習期間: わずか 2 時間 で完了
- 注意点: ベースモデル(EmbeddingGemma 2)自体は、音声認識用のトレーニングを施されていません。
動作速度とベンチマーク
| モデル名 | ハードウェア環境 | 速度 (実時間の倍数) | 備考 |
|---|---|---|---|
| Embedding Gemma Transcribe | M3 MacBook Air (8GB)、ニューラルエンジン搭載 | 288 倍 (1 時間 → 約 12.6 秒) | ベース M3 MacBook Air での当社テスト結果 |
| IBM Granite Speech 5.0 Turbo | M3 MacBook Air (8GB)、GPU (MLX)、CTC アプローチ | 約 150 倍 (1 時間 → 約 25.7 秒) | ベース M3 MacBook Air での当社テスト結果 |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | M4 Pro チップ、ニューラルエンジン搭載 | 156 倍 | FluidAudio のベンチマーク値(異なる環境) |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | M5 Pro チップ、ニューラルエンジン搭載 | 335 倍 | FluidAudio のベンチマーク値(異なる環境) |
| Phonon-2 (FluidAudio) (Parakeet v3 ファインチューニング版) | M5 Pro チップ、ニューラルエンジン搭載 | 480 倍 | FluidAudio のベンチマーク値(異なる環境) |
※速度の目安について: 「×実時間」は処理秒数に対する音声長さの比率です。上記の数値はあくまで大まかな目安であり、機種や環境間での直接的な比較ランキングではありません。
- 行 1〜2: ベース M3 MacBook Air での自社テスト結果
- 行 3〜5: FluidAudio が公表したベンチマーク値(より大型・新しい Mac、異なる音声データを使用)
現状の精度と今後の展望
- 現在の単語誤り率: 約 5%
- 最先端モデルとの差: トップクラスの音声認識モデルは**2〜3%**の水準にある。
- 改善方向: より優れたトレーニングを受けた「リーダー」モデルでこのギャップを埋め、次のバージョンへ進化させる予定。
使用方法
非常に手軽に利用できます。
- ファイル読み込み: オーディオファイルをドラッグ&ドロップするだけで動作します。
- リアルタイム音声入力:
- キーボードで**
+Option キー
**を押したままマイクを持ち、話し終わるまで保持してください。右シフトキー (Right Option) - 話し終わったら両方のキーを離すと、任意のアプリケーションへの音声入力が完了します。
- キーボードで**
セキュリティとプライバシー
- 動作は Mac に搭載されたニューラルエンジンを利用するため、高性能な処理が可能です。
- 音声データは端末から決して外部に送信されません。