EmbeddingGemma 2 を音声認識モデルに変えました

2026/10/13 20:27

EmbeddingGemma 2 を音声認識モデルに変えました

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

EmbeddingGemma 2 は、テキスト、画像、音声、動画を単一の共有空間で扱う革新的なマルチモーダル埋め込みモデルです。このベースモデルを音声からテキストへの変換システムに変換することで、外部 GPU を使用せずに Apple Silicon Mac で完全にオンデバイスでの処理を実現します。音声エンコーダは変更せず、音声スライスをテキスト空間にマッピングする小さな「リーダー」コンポーネントのみを訓練しました。このリーダーは、オープンライセンスの英語の音声データを用いて 8×H100 GPU で約 2 時間の訓練を行い、ベースモデルは当初から音声からテキストへの変換には訓練されていませんでした。

エントリーレベルの M3 MacBook Air(Neural Engine搭載、RAM 8GB)において、EmbeddingGemma Transcribe はリアルタイムファクター 288 倍に達します—that is、約 12.6 秒で 1 時間の音声データを転記します。比較のため、同じハードウェア上で MLX と GPU を使用した IBM Granite Speech 5.0 Turbo は約 150 倍の速度(1 時間あたり約 25.7 秒)で動作します。NVIDIA Parakeet TDT バリアントおよび Phonon-2 へのベンチマークは、FluidAudio が公開した M4 Pro および M5 Pro Mac のデータに基づくものであり、直接的な同等比較ではありません。

現在の単語誤認率は約 5% で、先導的な音声モデルの 2~3% よりやや高くなりますが、開発者は将来のバージョンで精度向上を計画しています。システムはプライバシー保護のために Neural Engine 上でのみ動作し、オーディオデータがデバイス外部に流出しません。ユーザーはキーボードショートカット(右 Option キーを押しながら発話)またはオーディオファイルのドロップインによって音声入力が可能です。macOS 14 以上かつ Apple Silicon を搭載するあらゆる macOS アプリケーションとの統合に対応しています。v1.6 リリースでは初回起動時に約 715MB のモデルがダウンロードされ、転記に句読点と大文字付けを追加するための小さな追加モデルも含まれています。

本文

EmbeddingGemma 2 を音声認識モデルへ転用:MacBook Air で 1 時間を 13 秒へ

概要

Google のEmbeddingGemma 2という埋め込みモデルを転用し、音声認識タスクを実現しました。

  • 実装環境: MacBook Air(ベースモデル)一台だけで完結
  • 処理速度: 約 13 秒 で 1 時間のオーディオデータをテキスト化可能

ダウンロード情報 (Mac 向け・無料)

  • バージョン: 1.6
  • 対応 OS: macOS 14 以降
  • 要件: Apple チップ搭載 Mac は、初回起動時に715 MBのモデルが自動ダウンロードされます。

技術的な仕組み

EmbeddingGemma 2 はテキスト、画像、音声、映像を一つの共有空間に統合するマルチモーダルモデルです。

  • 基本原理: ある単語が発音された音声データは、書かれた単語と同じベクトル空間内に位置するため、空間から直接言葉を「朗読(再構成)」させることができます。
  • 処理フロー:
    1. EmbeddingGemma 2 の音声エンコーダをそのまま使用します。
    2. 「小さなリーダー(リーダ)」モデルが、短いスライス単位で音声をテキスト空間へ移動させます。
    3. 英語辞書内の約 229,000 語と類似度が高い単語を選び、スライスごとに並べて台本(トランスクリプト)を作成します。
    4. 小さな追加モデルが句読点と大文字を追加して整形します。

トレーニング詳細

トレーニングは「リーダー」モデルのみを対象に行われました。

  • 学習環境: 8 個の H100 GPU を使用
  • データソース: 公開ライセンス下で収集された英語音声データ
  • 学習期間: わずか 2 時間 で完了
  • 注意点: ベースモデル(EmbeddingGemma 2)自体は、音声認識用のトレーニングを施されていません。

動作速度とベンチマーク

モデル名ハードウェア環境速度 (実時間の倍数)備考
Embedding Gemma TranscribeM3 MacBook Air (8GB)、ニューラルエンジン搭載288 倍
(1 時間 → 約 12.6 秒)
ベース M3 MacBook Air での当社テスト結果
IBM Granite Speech 5.0 TurboM3 MacBook Air (8GB)、GPU (MLX)、CTC アプローチ約 150 倍
(1 時間 → 約 25.7 秒)
ベース M3 MacBook Air での当社テスト結果
NVIDIA Parakeet TDT 0.6B v3
(FluidAudio)
M4 Pro チップ、ニューラルエンジン搭載156 倍FluidAudio のベンチマーク値(異なる環境)
NVIDIA Parakeet TDT 0.6B v3
(FluidAudio)
M5 Pro チップ、ニューラルエンジン搭載335 倍FluidAudio のベンチマーク値(異なる環境)
Phonon-2 (FluidAudio)
(Parakeet v3 ファインチューニング版)
M5 Pro チップ、ニューラルエンジン搭載480 倍FluidAudio のベンチマーク値(異なる環境)

※速度の目安について: 「×実時間」は処理秒数に対する音声長さの比率です。上記の数値はあくまで大まかな目安であり、機種や環境間での直接的な比較ランキングではありません。

  • 行 1〜2: ベース M3 MacBook Air での自社テスト結果
  • 行 3〜5: FluidAudio が公表したベンチマーク値(より大型・新しい Mac、異なる音声データを使用)

現状の精度と今後の展望

  • 現在の単語誤り率: 約 5%
  • 最先端モデルとの差: トップクラスの音声認識モデルは**2〜3%**の水準にある。
  • 改善方向: より優れたトレーニングを受けた「リーダー」モデルでこのギャップを埋め、次のバージョンへ進化させる予定。

使用方法

非常に手軽に利用できます。

  1. ファイル読み込み: オーディオファイルをドラッグ&ドロップするだけで動作します。
  2. リアルタイム音声入力:
    • キーボードで**
      Option キー
      +
      右シフトキー (Right Option)
      **を押したままマイクを持ち、話し終わるまで保持してください。
    • 話し終わったら両方のキーを離すと、任意のアプリケーションへの音声入力が完了します。

セキュリティとプライバシー

  • 動作は Mac に搭載されたニューラルエンジンを利用するため、高性能な処理が可能です。
  • 音声データは端末から決して外部に送信されません。

同じ日のほかのニュース

一覧に戻る →

2026/10/14 1:03

Gemini 4 アルゴン

## 日本語翻訳: 提供されたテキストには読み取れる情報が一切含まれておらず、有効な IT ニュースや事実に基づくコンテンツではなく完全に破損したバイナリデータから構成されています。そのため、意味のある要約ポイントを抽出したり、事実を検証したり、ファイル内で言及されている特定のユーザー、企業、業界を特定することは不可能です。入力データが読み取れないため、分析可能な過去の文脈、周辺の詳細、予測、将来の展望は存在しません。システムは明確にこの破損を、コンテンツに基づいて利害関係者の利益が影響を受けない主要な理由として特定しており、実際にはそのような影響を導き出すためのコンテンツ自体が存在しないためです。本質的に、データ構造が根本的に破綻しているため、過去の出来事、今後のシナリオ、業界の進展に関する洞察は一切得られません。一貫した物語や事実に基づいた論理的な順序がないため、この入力データを要約しようとするあらゆる試みは、正確なレポートではなく憶測に終わることになります。したがって、引き出せる唯一の事実的な結論は、ソース素材が明白なメッセージを伝達することに失敗しており、この特定のデータセットに対して標準的な分析手順を効果的に実行することが不可能であるということです。

2026/10/14 5:23

OpenAI のエンジニアが経営会議室への盗聴行為で逮捕される

## Japanese Translation: OpenAI のエンジニア、アブドゥラフマン・アルフォザンが、秘密のコミュニケーションに関する機密研究や政府との対談を盗聴するといった国家への脅威であると連邦検察官は説明する録画装置の設置未遂の罪で逮捕されました。この事件は、新たな長官のもとで FBI が AI イノベーションの保護を最優先とすることで知られる反諜報活動の大幅なエスカレーションを示しています。捜査当局は、制限された部屋に近い場所で彼を発見した監視映像や、配偶者から来たチャットボットの促し(隠蔽方法の詳細)を通じてアルフォザンの罪を解明しました。また、現場で見つかった留守置き状態の袋からは ID とともに 2 つ目の装置が回収され、内部ツールによる確認で彼は行動前に経営層の会議スケジュールを検索していたことも明らかになりました。これらの深刻な告発にもかかわらず、OpenAI は自社の AI モデルを用いて装置の出所を追跡し、アルフォザンが機密モデルの重み付けや顧客データにアクセスしたという証拠はないと発表しました。その結果、同社は FBI の捜査を進めるために即座に彼を解雇しました。通信盗聴装置の使用で有罪となった場合、アルフォザンは最高 5 年の実刑、多額の罰金、および保護観察を受ける可能性があります。次の法的ステップは、彼の身柄の状態を決定する 10 月 19 日の拘留聴聞会です。 ## Text to translate: The original summary is strong, concise, and clear. It successfully synthesizes a long list of bullet points into a coherent narrative without losing the main message or introducing inaccuracies. Therefore, no improvements are necessary. **Final Output:** ## Summary: OpenAI engineer Abdulrahman Alfozan was arrested on charges of attempting to install a recording device, an act federal prosecutors describe as a national security threat involving the interception of confidential communications about proprietary research and government talks. This incident marks a significant escalation in counterintelligence efforts, with the FBI prioritizing the protection of AI innovation under its new director. Investigators uncovered Alfozan's guilt through surveillance footage placing him near a restricted room and chatbot prompts from his spouse detailing how to hide such devices. Furthermore, an unattended bag found on-site contained a second device alongside his ID, while internal tools confirmed he researched executive meeting schedules before acting. Despite these severe allegations, OpenAI stated it used its own AI models to trace the device's origin and found no evidence that Alfozan accessed sensitive model weights or customer data. Consequently, the company immediately terminated him to facilitate the FBI's investigation. If convicted of using devices to intercept communications, Alfozan faces up to five years in prison, a substantial fine, and supervised release. His next legal step is an October 19 detention hearing to determine his custody status.

2026/10/14 4:11

Show HN: Guitoro、キーボードでストロミングできるバーチャルギター

## Japanese Translation: Guitoro は、オンライン上で利用可能な最も現実的で包括的な無料のバーチャルギターとして際立っています。ダウンロードやアカウント作成なしにブラウザですぐに演奏可能であり、一般的な合成音とは異なり、スチール弦アコースティックギター、ナイロン(クラシック)ギター、ソリッドボディ電気ギター、そして四弦ベースの 4 つのタイプにおいて高品質なリアル楽器録音を特徴としています。プラットフォームは、再生速度を調整できる強力な学習ツールを提供しており、音楽を 20% からフルテンポまでゆっくりさせながら、コード、ストローク、バックバンドを自動的に同期します。視覚的リアリズムは、発光する弦、振るピックアップアニメーション、指番号、バレー(フレットバー)、キャポを示すネックダイアグラムによって向上しています。ユーザーはキーボード(特定のコードゾーン)、マウス、タッチスクリーン、またはタブレットスワイプを通じて対話できます。広範なライブラリには 51 の曲とクラシック作品が含まれており、フルドラムスタイル 15 パターンの伴奏トラック、ベースライン 25 パターン、ストローク/ピッキングパターン 50 以上のパターンを含む完全なバックトラックスイートを備えています。包括的な学習機能は、ハマーオン、プルオフ、ベンディング、ビブラート、パームミュート、チョーキングなどの上級テクニックを、視覚的および音声フィードバック付きに教えます。さらに、ユーザーはドロップ D とオープンチューニングをサポートするマイクチューナーにアクセスでき、ディストーションやリバーブなどのアンプ/FX エフェクトを利用でき、さまざまなキーで最大 10 分間のアレンジを録音し、直接エクスポートする機能を持っています。