
2026/07/14 1:06
Apple が発表した新たな音声分析 API「SpeechAnalyzer」のベンチマークテストで、Whisper とその前代モデルと比較
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Apple の新しい SpeechAnalyzer API は、次期 OS 26 の一部として提供されるもので、英語の読み上げ音声に対する優れたオンデバイス音声認識を実現しており、特定ベンチマークコンテキスト内では従来のツールや人気が高い Whisper モデル(Tiny, Base, Small)を大幅に上回っています。この優位性は、M2 Pro チップなどの Apple ハードウェアで行われた厳密なローカルベンチマークを通じて証明され、オーディオを外部サーバーにアップロードすることなく、高速な処理速度——Whisper Small の計算時間の約 1/3——を実現することが示されました。清潔な LibriSpeech テストデータに対しては、従来の SFSpeechRecognizer API に比べて単語誤りを約 4 倍削減し(2.12% WER から 9.02%)、ノイズのあるデータに対しても同様の劇的な改善が見られました。この研究では、Inscribe のプロダクションコードパスと同一のテストハルネスを用い、Whisper の測定値は OpenAI が公開した値と比較しましたが、Whisper の相対的な不正確さは、これらのベンチマーク(アクセントのある音声、遠距離音声、または複数話者シナリオを含まない)に限定されたもの임을 指摘しました。重要なのは、すべてのテストが完全にオンデバイスで行われたことであり、従来の SFSpeechRecognizer もローカルで使用される場合でもクラウド処理にデフォルトで切り替わるという点です。これらの結果に基づき、Inscribe は製品ロジックを更新し、対応言語(現在約 30 のロケール)では SpeechAnalyzer を優先し、未対応の言語のみを Whisper に切り替えました。さらに、研究チームは Inscribe が SpeechAnalyzer でオーディオファイルを取り扱う際に重大なバグを見出し、生テキストデータを検証のために公開ダウンロード可能とする措置を講じました。これは、Apple エコシステム内のプライバシー重視かつ高パフォーマンスなオンデバイス AI 機能において大きな飛躍を意味します。
本文
Apple SpeechAnalyzer: オンデバイス音声認識の新たな基準
Apple の新しいSpeechAnalyzerは、我々のテストにおけるオンデバイス音声エンジンの中で最も高精度であり、処理速度も卓越しています。主な特徴とベンチマーク結果を整理しました。
主要な性能ハイライト
- 圧倒的な精度: Clean(クリーン)および Other(ノイズ混入あり)の両テストセットにおいて、配布されているすべての Whisper モデル(Whisper Small 含む)を上回りました。
- 高速処理: SpeechAnalyzer は Small モデルに比べて約3 倍速く動作します。
- 旧 API の低性能: 置換対象となった旧 API
は、クリーンな音声において精度が最も低く、40MB の軽量モデルである Whisper Tiny よりも劣る結果を示しました。SFSpeechRecognizer
ベンチマーク結果比較表
| エンジン | クリーン WER | その他 WER | モデルサイズ |
|---|---|---|---|
| Apple SpeechAnalyzer (iOS/macOS 26) | 2.12% | 4.56% | システム統合 |
| Whisper Small (WhisperKit CoreML) | 3.74% | 7.95% | 〜460MB |
| Whisper Base | 5.42% | 12.51% | 〜140MB |
| Whisper Tiny | 7.88% | 17.04% | 〜40MB |
| Apple SFSpeechRecognizer (旧方式) | 9.02% | 16.25% | システム統合 |
WER(単語誤り率)について: 数値が小さいほど性能が良いです。エンジンが誤って置換、漏らしたり、発明してしまった単語の割合を表します。
テストデータセット概要
- LibriSpeech test-clean: 2,620 のクリーンな朗読発話で構成されています。
- test-other: ノイズ混入がありより困難な 2,939 の発話です。
- 環境: すべての処理は Apple M2 Pro (32GB) / macOS 26.5.1 で完全にオンデバイスにて実施されました(無償計算資源)。
クリーン音声における WER ランキング
- Apple SpeechAnalyzer: 2.12%
- Whisper Small: 3.74%
- Whisper Base: 5.42%
- Whisper Tiny: 7.88%
- SFSpeechRecognizer (旧方式): 9.02%
なぜこのベンチマークを実施したのか?
iOS 26 / macOS 26 の登場により、Apple は
SFSpeechRecognizer を新しい API(SpeechAnalyzer と SpeechTranscriber)に置き換えました。しかし、Apple 側からは精度に関する数値は公表されていませんでした。そのため、移行すべきか判断に困る開発者や、比較を試みる方々は推測を余儀なくされていました。
- Inscribeでの実装経験: Apple の 2 つのエンジンと、3 つの Whisper モデルを実行・配送しています。
- 公平な比較環境: 異なるマシンやデータではなく、同一のマシン上で同じ音声データに対して、5 つの全エンジンを実行する共通の実践コードパスを通じて比較を行いました。
SFSpeechRecognizer から移行すべきか?
✅ 結論:はい、移行を強く推奨します
明確な事実です。新しい API は、同一の音声データにおいて単語誤り率(WER)を大幅に削減します。
- クリーン音声:
→9.02%
(約 4 倍の向上)2.12% - ノイズ混入音声:
→16.25%
(約 3.5 倍の向上)4.56%
精度と形式の向上
- 精度: 測定したすべての点で優れており、トレードオフは不要です。
- 出力品質: 旧方式は荒っぽいテキストでしたが、新 API は句読点を付け、大文字小文字を整えた高品質なテキストを生成します。
- 具体例:
で書き起こされた 1 時間の会議記録に含まれる誤り語数は、SFSpeechRecognizer
の場合の約4 倍です。SpeechAnalyzer
- 具体例:
注記: ご自身のアプリが音声コマンド用途(短時間)のみであれば移行は必須ではありませんが、長時間の音声コンテンツやより正確なテキストが必要な場合は、精度向上のために移行する価値があります。
SpeechAnalyzer と Whisper の比較
SpeechAnalyzer の優位性
- Whisper Smallを含むすべてのモデルを凌駕しました。
- 処理速度は Small モデルの方が速いですが(約 3 分の 1)、精度では完全に敗北しました。
- macOS / iPhone で英語を書き起こす場合、標準搭載のエンジンが最強です。
Whisper の残された利点
Whisper がまだ選ばれる理由は以下の 2 つに限られます:
- 言語対応数:
が約 30 の言語をサポートする一方、SpeechAnalyzer は英語特化(推測)。※注記:原文「100 を超える」または「SpeechTranscriber は 30」という文脈から、多言語には WhisperKitCoreML などが必要となる可能性があります。SpeechTranscriber - 環境の汎用性: Apple プラットフォームだけでなく、他の環境(Windows など)でも動作します。
今後の方向性:Inscribe の変更
- 英語では自動的にSpeechAnalyzerが選択されます。
- 対応言語がない場合は、Whisper にフォールバックします。
- デフォルト設定から意図的に外すことは推奨されません(ベンチマーク結果を参照)。
処理速度について
すべてのエンジンはリアルタイム処理能力を大幅に上回ります(M2 Pro で約 12〜40 倍の処理速度)。
- オンデバイスでの所要時間: 1 時間の音声を書き起こすのに、約 1.5 分〜5 分で済みません。
- 性能差: SpeechAnalyzer は Small モデルよりも毎秒あたり約 3 倍速く動作し、精度も凌駕しています。
計測テーブル公開について: 現時点では詳細な計時テーブルは非公開とします。WER 測定と同機上で開発タスクを行っていたため、計時データにノイズが含まれる可能性(変動)があるためです。将来的には専用アイドルランの実績に基づく情報を更新いたします。
メソロジーと検証性
ベンチマーク結果への懐疑に対処するための透明性のある設計です。
1. Whisper の数値の再現性
我々は OpenAI が公開した LibriSpeech WER を基準に測定しました。全 6 つのケースにおいて、OpenAI の値とほぼ一致しています(わずかな正のオフセットは、誠実な再現の結果であり、厳格なテキスト正規化や CoreML クアンティゼーションによるものです)。
| エンジン / セグメント | 当社測定値 | OpenAI 公開値 | デルタ |
|---|---|---|---|
| Whisper Tiny, test-clean | 7.88% | 7.6% | +0.28 |
| Whisper Base, test-clean | 5.42% | 5.0% | +0.42 |
| Whisper Small, test-clean | 3.74% | 3.4% | +0.34 |
| Whisper Tiny, test-other | 17.04% | 16.9% | +0.14 |
| Whisper Base, test-other | 12.51% | 12.4% | +0.11 |
| Whisper Small, test-other | 7.95% | 7.6% | +0.35 |
- Apple の測定も同様のコーパス、正規化器、スコアラーを使用しており、誰でも検証可能です。
2. 生テキストデータの公開
再スコアリングを行うことでご自身で確認いただけます。
: すべての測定値(機械可読、3KB)summary.json
: SpeechAnalyzer の発話データ(620KB)raw-transcripts-apple.json.gz
: SFSpeechRecognizer の発話データ(620KB)raw-transcripts-legacy.json.gz
WER 計算の詳細なルール
- 同一の実践コードパス: Inscribe ユーザーが入手できる正確なコードでの実行です。
- テキスト正規化: 大文字・句読点なしの参照データに対し、現代エンジンが出力する句読点や数字を付与します(OpenAI の英語正規izer を模倣)。「誤聴」に対してのみペナルティを与えます。
- 平均ではなく全体: コーパス全体の WER(総誤り数 ÷ 参照単語総数)を使用するため、短い発話が過大評価されません。
- 完全なオンデバイス:
のデフォルトではクラウド送信が行われますが、我々は明示的にオフライン強制し、クラウド結果を排除しました。SFSpeechRecognizer - 失敗はカウントされる: エンジンが出力しない場合は 100% WER と計算されます(旧方式にて 1 件発生)。
このベンチマークから学んだこと (Inscribe の改善)
このベンチマークにより、
Inscribeアプリの重大なバグを発見しました。
- 問題:
にオーディオを供給し入力ストリームを閉じても、SpeechAnalyzer
を呼び出さなかったため、アナライザーが最終結果を伝達せず、処理が永久に停止していました。finalizeAndFinishThroughEndOfInput() - 原因: Auto 設定で Whisper が優先されていたため、この不具合が見過ごされていました。
- 解決: 同日に修正パッチを配信しました。
製品開発の原則: 自社製品を詳細に測定することは、見逃していたバグを見つけるための道を開きます。
制限事項
- 英語のみ: 基準となる LibriSpeech は英語音声のため、多言語対応については言及できません(WhisperKit で 100 以上の言語に対応は可能)。
- 使用音源の種類: 朗読音声です。アクセントや複数人での話し声を含む実際の会議録画とは異なる可能性があります。
- ハードウェア依存: 精度は Apple Silicon 間で共通ですが、速度はチップ性能によって異なります(M2 Pro で測定)。
- WhisperKit CoreML の仕様: クアンティゼされたオンデバイス変換であり、GPU 実装とは若干異なります(検証表で定量化済み)。
まとめ:何を意味するか?
現在の iPhone または Mac で英語の書き起こしを行いたい場合:
- Best Choice: オペレーティングシステム内の標準機能(
)。SpeechAnalyzer - Privacy: 完全にオンデバイス。何ものもアップロードされません。
- Inscribe の推奨設定: 英語では
、多言語ではSpeechAnalyzer
を採用します。Whisper
ベンチマークは製品を売るための広告ではなく、製品の挙動を決める客観的な基準です。詳細な数値や生データはいつでも公開可能です。