
2026/11/17 10:03
Show HN: 音声を MIDI に変換するモデルを 60 倍効率化しました
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
改善された要約: 2026 年 11 月 16 日に公開された革新的なオープンソース音声から MIDI に変換するモデル「Dettato」を紹介します。このモデルはミュージシャンを支援すると同時に、著作権法を厳密に遵守するように設計されています。以前のモデルが著作権のあるレコーディングに依存していたのに対し、Dettato は合成データと URMP データセットからのクリエイティブ・コモンズライセンス付与楽器のみを使用して訓練され、「soundfont babies」という手法により約 20 のサウンドフォントを組み合わせることで実装されています。このアーキテクチャは光楽譜認識(OMR)といった複雑なタスクをローカル上で解決し、過学習を防ぎつつ、モデルを僅か 2,000 万パラメータで動作させることを可能にしています——競合他社の MuScriptor に比べて約 65 倍小さいサイズです。
Dettato は、MuScriptor 1.3B、Mirelo A2M v1.1 Pro、PHENICX、および Bach の出力といったベンチマークで著しく優れたパフォーマンスを発揮します。標準データセット(RWC クラシック/ロイヤリティ・フリートリートメント、Dagstuhl ChoirSet、Slakh2100 など)において高い効率和な性能を備えているにもかかわらず、本モデルには重要な制限点があります:即ち、完全に演奏可能な楽譜ではなく、ビートに同期した MIDI シーケンスを生成し、楽器の分割において性能が低いことです。従来型の楽譜形式を求めるユーザーは、songscription や klangio のような代替手段を検討すべきです。Kobimusic が以前のアーキテクチャ上のボトルネックを克服した後により開発された Dettato は、制作者を置換するのではなく、法的枠組みの中で創作者をサポートするという哲学を体現しています。
本文
Dettato: 最先端の音声から MIDI 変換オープンソースモデル
2026 年 11 月 16 日 に、音声を MIDI に変換する分野で SOTA(State-of-the-Art)を達成する新モデル「Dettato」 をリリースいたします。
本モデルは以下の既存モデルを大きく凌駕する性能を発揮しています。
- MuScriptor 1.3B(次期有望なオープンソースモデル)を大幅に上回る性能
- Mirelo A2M v1.1 Pro(クローズドソースモデル)の公開ベンチマークスコアをも上回るスコア
モデル概要
| 項目 | 内容 |
|---|---|
| パラメータ数 | 約 2,000 万(20M) |
| サイズ効率 | MuScriptor の約 65 分の 1 のコンパクトさ |
| トレーニングデータ | 著作権保護された録音は一切使用せず、パブリックドメインデータのみ利用 |
| 利用条件 | オープンソースであり、出力結果の商用利用も許可 |
ベンチマーク比較結果
測定指標は各システムの平均値です。主要な公開モデルとの総合スコア(Composite)比較は以下の通りです。
システムごとの総合スコア
※数値は各評価項目の合計または平均を反映しています。
| モデル | スコア詳細 | パラメータ数 | 備考 |
|---|---|---|---|
| Dettato | 60.8 / 70.8 / 9.1 / 40.9 / 52.5 | 20M | 総合スコア最高 |
| Mirelo A2M v1.1 Pro | 56.1 / 67.1 / 75.7 / 40.1 / 41.4 | not published | クローズドソース(非公開) |
| MuScriptor | 47.4 / 57.0 / 71.2 / 31.4 / 30.1 | 1.3B | オープンソース |
| YourMT3+ | 45.7 / 58.2 / 63.9 / 30.5 / 30.0 | 46M | オープンソース |
- 使用データセット: PHENICX, RWC classical, RWC royalty-free
- F1 スコアの定義: オンセット、フレーム、オフセットの平均値です。
データセット別詳細スコア
各データセットにおける Dettato の圧倒的な性能を示します(数値は F1 スコア)。
バロック音楽 (Bach)
- Dettato: 109.1 / 3(未報告)※他モデルと比較しても突出した性能
- Mirelo A2M v1.1 Pro: 54.7 / 57.9
- MuScriptor 1.3B: (未報告)
- YourMT3+: 54.7 / 57.9
ダグシュタール合唱 (Dagstuhl ChoirSet)
- Dettato: 60.8(未報告)
- MuScriptor 1.3B: 35.5 / 28.0
- YourMT3+: (未報告)
PHENICX アネコイック (PHENICX-Anechoic)
- Dettato: 64.8 / 60.9 / 54.4 / 44.8
- MuScriptor 1.3B: (未報告)
- YourMT3+: 44.8
RWC ポピュラー (RWC Popular)
- Dettato: 54.0(未報告)
- MuScriptor 1.3B: 44.3 / 36.1
- YourMT3+: (未報告)
RWC クラシカル (RWC Classical)
- Dettato: 64.4 / 65.8 / 58.4 / 62.4
- MuScriptor 1.3B: (未報告)
- YourMT3+: 62.4
RWC ジャンル (RWC Genre)
- Dettato: 48.7(未報告)
- MuScriptor 1.3B: 42.6 / 35.6
- YourMT3+: (未報告)
RWC ジャズ (RWC Jazz)
- Dettato: 55.7(未報告)
- MuScriptor 1.3B: 52.0 / 47.1
- YourMT3+: (未報告)
RWC ライセンスフリー (RWC Royalty-Free)
- Dettato: 61.6 / 56.2 / 46.8 / 45.4
- MuScriptor 1.3B: (未報告)
- YourMT3+: 45.4
合成データ (SLAHK2100)
- Dettato: 68.4(未報告)/ 51.1(未報告)
- MuScriptor 1.3B: (未報告)
- YourMT3+: (未報告)
免責事項と注意点
ベンチマーク結果に関する重要な留意点です。
- 実用精度の確認: ベンチマークスコアが高くても、モデルの実用的な精度を正確に評価するには実際に動作を確認することが不可欠です。
- 苦手分野: 現時点で本モデルが苦手としている例として、「楽器の分離」 が挙げられます。
- 出力形式: 出力はメトロノミーに同期したピッチデータを含む、演奏可能な MIDI ファイル です。
- 「実際に演奏できる形式(例:楽譜など)」を直接ご希望の場合は、Songscription や Klangio をお勧めいたします。これらは優れたツールであり、この分野の可能性を広げている企業によって提供されています。
開発の背景と技術的特徴
トレーニングデータ
- 使用楽曲: "Sousa, The Stars and Stripes Forever: 'The President's Own'"(アメリカ海軍楽団演奏)。
- John Philip Sousa の「Complete Marches of John Philip Sousa, Vol. 3」に収録された米国政府公認録音であり、パブリックドメインです。
- MIDI データ: ダウンロード可能です。
kobimusic の目標
- ムーシャン(音楽家)を支援するだけでなく、置換することを目的といたしません。
- 常に著作権法に従うことがポリシーです。
トレーニング手法
Dettato は以下のアプローチを採用しています。
- 合成楽器録音: 使用済み。
- CC(単独楽器): URMP データセットを使用。
- サウンドフォント融合: 「Soundfont Babies」と私が発表した技術を活用し、約 20 つのサウンドフォントを融合させるアプローチを採用。
- 重要: 著作権のある録音は一切使用していません。
アーキテクチャに関する考察
開発は約 10 ヶ月前に開始され、4 月にプロジェクトを一時的中断して**「再構築」**を行いました。その理由と技術的変化は以下の通りです。
プロジェクトの転換点
- 当初の認識: AMT(音声から MIDI)を単なる**「データ問題」**として捉えていました。
- 現実のボトルネック: 実際にはボトルネックが**「アーキテクチャ」**にあることが判明しました。
問題解決の鍵:グローバル vs ローカル
- OMR(楽譜認識)と AMT は多くの共通点を持ち、当初はアルゴリズム的アプローチで解決を試みましたが不十分でした。
- 大規模言語モデル(LLM)の要素を組み込むと、自然に**合成データへの過学習(オーバーフィッティング)**を起こす傾向がありました。
- 原因: AMT と OMR の問題を「グローバル(全体)」な視点で捉えると、問題の本質的な性質が変わってしまうためです。
- 解決策: 両者を**「ローカル(局所的)」な問題として再構築**することで解決しました。
アーキテクチャ構成
- OMR: デテクターモデルを使用。
- AMT: ピッチレーンモデルを使用。
結論
オープンソースおよびクローズドソースの音楽関連企業に、このアプローチからの学びを願っています。
「著作権のある録音を使用できない」という制約は、開発を妨げるものではありません。 むしろ、その制約がイノベーションを促進し、最終的により優れたモデルの誕生につながると考えています。