
2026/11/18 0:16
Show HN: 音声から得られる単語時刻軸を提供する API が、20 ミリ秒以内で 75% の精度を達成
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Quebec ツールは、曖昧な時間制約と専用の境界モデルを組み合わせて、音声オーディオの配置における単語削除エラーを修正するための画期的な解決策を提供します。このアプローチは、American Buckeye コーパスのような困難なデータセットにおいて、WhisperX、ElevenLabs、MFA などの既存の方法を大幅に上回っており、手動ラベルからの 20 ミリ秒以内の単語境界として 75–77% を達成しました(対照的に競合他社は約 54%)。このシステムは、二つのステージからなるアーキテクチャによりこの精度を実現しています:まず ElevenLabs Scribe のタイミングを使用して重大な「時間なし」エラーと悪いカットを防ぎ、次に高品質な LLM 生成ラベルでトレーニングされた畳み込みニューラルネットワークを採用して境界を微調整します。以前のアライナーがノイズの多いデータに苦しんだり単語配置を完全に失ったりする点とは異なり、Quebec は HuBERT などの重いモデルではなく Whisper tiny レイヤーを活用することで処理レイテンシを大幅に削減し、1 分あたり 4 秒から 1 秒未満まで短縮しています。ユーザーは簡単なキーリクエストで登録なしで、このコスト効率が高く(0.32 ドル/時間)、低レイテンシーの API に直ちにアクセスでき、60 分の長さのファイルをサポートし、ファイルサイズ制限 (413) や不十分な残高 (402) などの特定のエラーを処理します。
本文
Quebec: 高精度な強制配置(Forced Alignment)システム
背景と課題
- Yarn の現状: 動画編集ツール Yarn で単語を削除する際、隣接する単語が誤って切り落とされる現象が頻発していました。
- 各単語の時間情報は「強制配置(Forced Alignment)」によって決定されます。
- 既存のモデルの精度には限界があり、より高品質なシステムが必要でした。
Quebec システムの実績
- 高い精度: Quebec の結果では、77%の単語境界が人手によるラベルと20 ミリ秒以内の誤差で一致しました。
- 次点のモデルは 54% に留まりました。
- 課題の特定: 正確な切り取りには、各単語の開始・終了時刻が約 20 ミリ秒以内であることが必要と判明しました。
評価指標と既存モデルとの比較
-
主な評価指標
- 人手設定位置から 20 ミリ秒以内にある単語境界の割合。
- 単一単語の削除操作で失敗する頻度(不良切り取り)。
- Yarn エディタは次の単語とのギャップの中点で切り取るため、隣接単語が±50 ミリ秒以上ズレると「不良切り取り」と判定します。
-
既存モデルの問題点
- WhisperX, ElevenLabs: 単語開始を約 50 ミリ秒遅らせる傾向あり(原因未解明)。時系列情報自体にノイズが含まれます。
- Montreal Forced Aligner (MFA): より高精度ですが、以下の不具合があります。
- 約12 に 1の単語で時刻情報が返らない。
- フレーズ全体が明らかな発話部位と異なる場所に配置される。
-
[グラフの説明]
- Word start error (単語開始誤差): 各システムが手動ラベルからのずれ(対象:13,900 語)。
- Window ±20 ms: この窓内に収まる単語開始の割合。
-
Quebec の改善効果: これまでの技術では解決できず、人手に近い精度を達成しました。
- [利用リンク] quebec.yarn.so で無料で試せます(月曜日の東部標準時午後 8 時まで無料枠あり)。
Quebec の構成要素と処理パイプライン
Quebec の成功には以下の 3 つの要素があります。
- カスタムデコーダを用いたフェンス付きビームサーチ。
- 境界をシャープにする軽量ニューラルモデル。
- そのモデルへの高品質な訓練データ。
処理パイプライン構成図
- 音声 → トランスクリプション: ElevenLabs Scribe (32%)
- → フェンス付きデコーダ: MFA アコースティックモデル (60%)
- → 境界モデル: Whisper Tiny, 2 レイヤ (77%)
技術詳細:3 つのステップによる改善
1. デコーダ:MFA シーチにフェンスを施す
[課題] MFA のビームサーチは非現実的な経路を削除(プリーニング)しますが、入力とトランスクリプトが矛盾すると正しい経路が捨てられてしまうことがあります。
- 解決策: トランスクリバ(ElevenLabs Scribe)の時刻情報は荒削りですが、大幅な誤差は稀です(単語 2% 以下で 200 ミリ秒以上ズレることは稀)。
- トランスクリバが示すおおよその位置を「フェンス」として使用し、高精度なサーチはその周辺のみを対象とさせます。
- 独自のデコーダ: MFA のアコースティックモデルを使用し、各単語はトランスクリバの位置から200 ミリ秒以内で開始・終了する必要があります。
- 効果:
- 非現実的な経路の削除不要:長尺音声を休止点で分割して並列処理可能に。
- 時刻情報が返らない単語の割合:12 に 1 → 500 に約 1へ改善。
- 不良切り取り率:**21% (MFA) → 12%**へ減少。
- 効果:
2. 境界モデル:境界のみを検出する軽量モデル
[課題] フェンス技術により位置ズレは解決しましたが、アコースティックモデル自体には限界があり、約 60% の境界しか 20 ミリ秒以内に収まっていませんでした。
- アコースティックモデルの限界:
- 音声を 10 ミリ秒ごとのスライスでラベル付けします。
- 音声結合部でフォネムが重なり合うため、スコアが変わらないことが多く、境界線の決定が困難です。
- 解決策: 境界の前後 200 ミリ秒分の音声を分析する**畳み込みニューラルネットワーク (Convolutional Net)**を追加。
- 入力: スペクトログラムと Whisper Tiny の最初の 2 レイヤから得られた特徴量。
- 機能: ウィンドウ内の境界位置を 5 ミリ秒ステップで特定し、最大50 ミリ秒だけ移動させることができます。
- 原理: アコースティックモデルは「どちらでもよい」領域を判定するが、このネットワークは正確な位置を 1 つ提示します。フェンス技術により境界の大部分(9/10)が既に正しく収まっていたため、「次の音への引き継ぎ点」の決定という限定された課題しか残されていません。
- 訓練データ: 約73,000のラベル付け済み境界(公的・私的録音データから収集)。LLM を活用したデータ構築が効率よく行えました。
3. 訓練データ:人手によるラベル付けデータの入手
[課題] 高精度なネットワークには人手でマークされた境界線データが必要ですが、オープンライセンスデータは限られます。Map Task コーパス(約 56,000 語)でも多様性に欠けていました。
- LLM を活用したラベル付け:
- LLM に直接プロットを描画させるアプローチでは失敗しました(トークン消費が多く性能向上なし)。
- 成功のアプローチ: Gemini に一度呼び出し、デコーダの推測、異なる 2 つのプロット、および単語開始・終了に関するルールページを提供。
- 判定ルールの例:
「母音、鼻濁音、または流音で終わる語の場合、その語は通常のリッチな声門パルスが止まり、500-4000Hz のエネルギーが崩壊する地点で終了します [...] 弱い減衰性の低周波のうめき声 [...] は休止期間に属します。」
- 検証結果:
- Gemini のラベルは人手ラベルに対して**69%**の場合、20 ミリ秒以内の誤差でした。
- 異なる 2 つの Gemini モデル間でも、**94%**が互いに 20 ミリ秒以内で一致しました。
- 自己評価: 自社製品(約 17,000 語)をラベル付けし、訓練データとして使用しました(費用:200 ドル未満)。
結果:Buckeye コーパスでの性能比較
以下の結果は、Quebec の訓練データに含まれないアメリカ人の音声コーパス(Buckeye corpus)に対するものです。
| システム | 20 ミリ秒以内の境界 (%) | 不良切り取り (%) |
|---|---|---|
| Quebec | 75 | 11 |
| MFA | 61 | 19 |
| ElevenLabs | 30 | 39 |
| WhisperX | 24 | 49 |
- 削除処理のビジュアル: "should go straight"から"go"を削除する場合、帯の色で各システムの切り取り位置が示されます。Quebec は他システムと比べて正確な位置で切り取っています。
性能 (Speed)
- 並列化による高速化: 長尺音声も休止点(2 分ごと)で分割して並列処理するため、短尺音声との差は僅かです。
- デコーダの高速化: フェンス技術により探索余地が極小化され、Kaldi サーチと比較して約2 倍高速。
- Lambda CPU 上の境界モデル処理速度:0.7 秒/分。
- モデル比較:
モデル サイズ 処理速度 (分あたり) 精度 (20ms 内) HuBERT (9 レイヤ) 293MB 4 秒 76% Whisper Tiny (初期 2 レイヤ) 19MB 0.7 秒 77%
注意点 (Caveats)
- 言語限定: 現時点で英語専用。手法自体は言語非特化ですが、他の言語での実装は未進行です。
- アーキテクチャの組み立て: アコースティックモデル(MFA)、大まかな時刻情報(トランスクリバ)、特徴量(Whisper)を組み合わせ、境界ラベルを用いて訓練を行いました。ゼロから全てを作るわけではありません。
試しに使用してみる (Try it)
Quebec は以下の機能を提供します。
- 音声送信 → 単語付きトランスクリプトの取得。
- 既存トランスクリプト指定 → 時刻情報の付与。
- 登録不要(月曜日の東部標準時午後 8 時まで無料枠あり)。
ドキュメント: quebec.yarn.so/llms.txt でプレーンテキスト形式でも確認可能です。
課金体系
- 料金: 音声時間あたり $0.32(秒単位精算)。失敗したリクエストは無料。
- 制限: 英語限定、ファイルあたり最大 60 分・1GB。処理時間は約 1 分/時。
API 利用ガイド
1. キーの作成
curl -X POST https://quebec.yarn.so/keys
- 返答例:
-> 201 {"api_key": "qb_123_...", "balance_usd": 0, ...} - 注意: API キーは一度しか表示されないため、安全な場所に保存してください。
- 紛失時は
にメール送信。help@yarn.so
- 紛失時は
2. クレジットの追加
- ブラウザで
を開きカード払い($10 基準)。[top_up_url](https://quebec.yarn.so/top-up/123)- 金額変更:
または?amount=25
。?amount=100
- 金額変更:
- 企業メールアドレスボーナス: $5 無料付与あり。
curl https://quebec.yarn.so/credit -H "Authorization: Bearer qb_123_..." \ -H "Content-Type: application/json" -d '{"email": "jo@acme.com"}'
3. トランスクリプション(音声 → テキスト+時刻)
curl https://quebec.yarn.so/transcribe -H "Authorization: Bearer qb_123_..." -F file=@talk.mp3
- 返答例:
-> 200 {"text": "...", "words": [{"text": "Hello,", "start": 0.43, ...}], "cost_usd": ...}
4. 既存トランスクリプトに対する配置(Align)
curl https://quebec.yarn.so/align -H "Authorization: Bearer qb_123_..." \ -F file=@talk.mp3 \ -F text="Hello, there."
パラメータは話者ラベルやタイムスタンプの付いていないプレーンなトランスクリプトです。text
5. バラン斯的確認
curl https://quebec.yarn.so/balance -H "Authorization: Bearer qb_123_..."
エラー形式
エラー応答例:
{"error": {"code": "...", "message": "..."}}
| コード | 説明 |
|---|---|
401 | 認証ヘッダー欠落またはキー不明。 |
402 | バランスが $0 以下(補填リンク参照)。 |
400 | ファイルフィールド未指定。 |
400 | エンドポイントにトランスクリプトテキスト欠落。 |
400 | 5 つ以上の追加フォームフィールド存在。 |
400 | ファイルのオーディオ読み込み失敗。 |
400 | クレジット追加時、金額は 10, 25, 100 のみ可。 |
400 | で JSON 形式未準拠。 |
404 | ルート不存在またはアカウント不明。 |
409 | 利用不可(無料枠制限、重複認証済みなど)。 |
409 | 無料クレジット一時的に停止中。 |
413 | オーディオ長が 60 分超過。 |
413 | ファイルサイズ 1GB 以上、またはテキスト 1MB 以上。 |
413 | で 10 語/秒以上の高速処理試図。 |
429 | システム容量いっぱい(指定時間後再試行)。 |
500 | サーバー側エラー。再試行してください。 |
502 | リクエスト失敗かつ未課金。再試行してください。 |
注釈 (References)
- Map Task: HCRC Map Task コーパス(CC BY 4.0)の 212 分を使用。
- 統一基準: すべてのシステムが同じ ElevenLabs Scribe トランスクリプトを使用。
- モデル構成: MFA はデフォルト設定 (3.x)、Gemini は Gemini 4 Argon モデル使用。
- Buckeye コーパス: テスト用としてのみ使用。
- 精度数値: 79% という数値は Goldman (2011) が別のコーパスについて報告したものです。