
2026/11/20 5:57
ローカル音声アシスタントのパイプラインの再構築
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
主なメッセージは、陳腐化したコンポーネントを効率的な新しいプラグインに置き換えることで、自己ホスト型の Platypush 音声アシスタントパイプラインを再構築すると、偽陽性/偽陰性の高率や以前の自己ホスト型セットアップで見られる不良なノイズ処理といった問題を解決し、大幅に頑健性を向上させるという点にあります。この再構築では、起動語検出を
assistant.openwakeword から新しい assistant.microwakeword プラグイン(microWakeWord に基づく)へ切り替え、内蔵モデル、カスタム JSON マニフェスト、デバイスの管理をサポートし、ポーズ時のエコーを防止しました。音声からテキストへの変換では assistant.openai を通じて Whisper を使用し、音声処理は Silero VAD により WebRTC/エネルギーフォールバックで管理されています。特に、他のプラグイン(例:assistant.vosk)の性能向上にも寄与する共有された AudioPreprocessor が導入されました。話終検出はヒステリシスとスライドウィンドウ多数決ロジックを用いて改良され、適応的なノイズ床による環境下でも、対話終了までの遅延を 6〜10 秒からわずか 1.0〜1.6 秒に削減しました。レスポンス生成は openai プラグイン(クラウドまたはローカル/Ollama)を通じて文脈を一元管理しますが、ローカルのテキスト読み上げオプションであるtts.piper は、Raspberry Pi などのハードウェア上でクラウドソリューションと比較して追加の 3〜4 秒遅延をもたらす可能性があることをユーザーは留意する必要があります。最後に、システムデフォルトは合成音声向けにチューニングされています(例:'alexa'モデルで0.9 の確率カットオフを使用)。ただし、開発者はハードウェア固有の注意点、例えば RPi マイクの制限によりソフトウェアでのリサンプリングが必要となる可能性や、特定の音響環境に合わせて検出閾値やノイズ床係数を調整する必要がある点に留意する必要があります。本文
目覚めワード検出:新しい assistant.microwakeword
プラグインのご紹介
assistant.microwakeword機能概要
- 音声認識 (Speech-to-Text):
(高性能モデル採用)assistant.openai - 応答とコンテキスト: OpenAI プラグインを使用
- テキストから音声へ (Text-to-Speech):
tts.openai
構成例
以下の YAML ファイルを参照してください。
openai: api_key: YOUR_API_KEY # ローカルモデルプロバイダー(例:Ollama)を使用する場合は以下のように設定可能 # base_url: http://localhost:8000/v1 # model: gpt-5 # 初期コンテキスト情報(任意) # context: # role: system # content: "あなたは有用なアシスタントです。" assistant.microwakeword: models: - alexa assistant.openai: tts_plugin: tts.openai conversation_start_sound: ~/sounds/wake_word_detected.wav input_volume: 100 # assistant.vosk の設定例(コメントアウト済み) # assistant.vosk: # model: /path/to/vosk/model # conversation_start_sound: ~/sounds/wake_word_detected.wav # input_volume: 100 tts.openai: output_volume: 80.0 # ローカル環境用の TTS(例:Piper)設定例(コメントアウト済み) # tts.piper: # output_volume: 80.0
コード側の変更点
-
新しい
プラグインの追加assistant.microwakeword
を使用し、MicroWakeWord ホットワード検出機能を統合。pymicro-wakeword
と同じ API 仕様。assistant.openwakeword- パッケージに組み込まれたモデルに加え、JSON マニフェスト経由でカスタムモデルの使用も可能。
-
の性能向上assistant.openwakeword- フレーム長を 500ms から80msへ変更(1280 サンプル/フレーム)。
- openWakeWord が推奨するサイズを採用し、長いチャンクではサブフレーム全体の最高スコアのみを取得してホットワードを逃すリスクを削減。
- 新たなパラメータ追加:
: 閾値を超えた連続フレーム数を指定可能に。patience_frames
: 明示的な検出閾値(デフォルト:detection_threshold
)を設定可能に。0.5
-
共有オーディオ前処理のリデザイン
- Silero / WebRTC / エネルギー VAD のバックエンドに対し、
で自動選択を実現。vad_backend: auto - 閾値ヒステリシス、スライディングウィンドウ多数決、適応的ノイズフロア機能を搭載。
およびassistant.openai
の両方で利用可能。assistant.vosk
- Silero / WebRTC / エネルギー VAD のバックエンドに対し、
-
新しい Silero VAD ラッパーの実装
経由で ONNX inference を動作させ、フレーム間を跨ぐ再帰状態を保持。onnxruntime- モデルのダウンロード時にチェックサム検証付きで作業ディレクトリに保存。
注意点
-
サンプリング周波数の対応について
- Android 派生版(RPi)搭載マイクは、16 kHz のネイティブサポートが限られるため、44.1 kHz でキャプチャしソフトウェア再サンプリングを行っています。
- 動作は正常ですが、検出が不自然に遅延している場合は、まずソフトウェア再サンプリングを疑ってください。
-
デフォルト設定の根拠
- VAD と閾値の初期設定は、合成音声および実際の音声レコーディングデータに基づいて調整されています。
-
環境要因による差異
- 部屋、マイク、音響環境の違いにより結果が変動します。
- 満足度向上のためには、以下のパラメータを適宜調整することを推奨します:
- 目覚めワードプラグインの
detection_threshold - STT プラグインの
noise_floor_factor
- 目覚めワードプラグインの