Show HN: 音声を MIDI に変換するモデルを 60 倍効率化しました

2026/11/17 10:03

Show HN: 音声を MIDI に変換するモデルを 60 倍効率化しました

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

改善された要約: 2026 年 11 月 16 日に公開された革新的なオープンソース音声から MIDI に変換するモデル「Dettato」を紹介します。このモデルはミュージシャンを支援すると同時に、著作権法を厳密に遵守するように設計されています。以前のモデルが著作権のあるレコーディングに依存していたのに対し、Dettato は合成データと URMP データセットからのクリエイティブ・コモンズライセンス付与楽器のみを使用して訓練され、「soundfont babies」という手法により約 20 のサウンドフォントを組み合わせることで実装されています。このアーキテクチャは光楽譜認識(OMR)といった複雑なタスクをローカル上で解決し、過学習を防ぎつつ、モデルを僅か 2,000 万パラメータで動作させることを可能にしています——競合他社の MuScriptor に比べて約 65 倍小さいサイズです。

Dettato は、MuScriptor 1.3B、Mirelo A2M v1.1 Pro、PHENICX、および Bach の出力といったベンチマークで著しく優れたパフォーマンスを発揮します。標準データセット(RWC クラシック/ロイヤリティ・フリートリートメント、Dagstuhl ChoirSet、Slakh2100 など)において高い効率和な性能を備えているにもかかわらず、本モデルには重要な制限点があります:即ち、完全に演奏可能な楽譜ではなく、ビートに同期した MIDI シーケンスを生成し、楽器の分割において性能が低いことです。従来型の楽譜形式を求めるユーザーは、songscription や klangio のような代替手段を検討すべきです。Kobimusic が以前のアーキテクチャ上のボトルネックを克服した後により開発された Dettato は、制作者を置換するのではなく、法的枠組みの中で創作者をサポートするという哲学を体現しています。

本文

Dettato: 最先端の音声から MIDI 変換オープンソースモデル

2026 年 11 月 16 日 に、音声を MIDI に変換する分野で SOTA(State-of-the-Art)を達成する新モデル「Dettato」 をリリースいたします。

本モデルは以下の既存モデルを大きく凌駕する性能を発揮しています。

  • MuScriptor 1.3B(次期有望なオープンソースモデル)を大幅に上回る性能
  • Mirelo A2M v1.1 Pro(クローズドソースモデル)の公開ベンチマークスコアをも上回るスコア

モデル概要

項目内容
パラメータ数約 2,000 万(20M)
サイズ効率MuScriptor の約 65 分の 1 のコンパクトさ
トレーニングデータ著作権保護された録音は一切使用せず、パブリックドメインデータのみ利用
利用条件オープンソースであり、出力結果の商用利用も許可

ベンチマーク比較結果

測定指標は各システムの平均値です。主要な公開モデルとの総合スコア(Composite)比較は以下の通りです。

システムごとの総合スコア

※数値は各評価項目の合計または平均を反映しています。

モデルスコア詳細パラメータ数備考
Dettato60.8 / 70.8 / 9.1 / 40.9 / 52.520M総合スコア最高
Mirelo A2M v1.1 Pro56.1 / 67.1 / 75.7 / 40.1 / 41.4not publishedクローズドソース(非公開)
MuScriptor47.4 / 57.0 / 71.2 / 31.4 / 30.11.3Bオープンソース
YourMT3+45.7 / 58.2 / 63.9 / 30.5 / 30.046Mオープンソース
  • 使用データセット: PHENICX, RWC classical, RWC royalty-free
  • F1 スコアの定義: オンセット、フレーム、オフセットの平均値です。

データセット別詳細スコア

各データセットにおける Dettato の圧倒的な性能を示します(数値は F1 スコア)。

バロック音楽 (Bach)

  • Dettato: 109.1 / 3(未報告)※他モデルと比較しても突出した性能
  • Mirelo A2M v1.1 Pro: 54.7 / 57.9
  • MuScriptor 1.3B: (未報告)
  • YourMT3+: 54.7 / 57.9

ダグシュタール合唱 (Dagstuhl ChoirSet)

  • Dettato: 60.8(未報告)
  • MuScriptor 1.3B: 35.5 / 28.0
  • YourMT3+: (未報告)

PHENICX アネコイック (PHENICX-Anechoic)

  • Dettato: 64.8 / 60.9 / 54.4 / 44.8
  • MuScriptor 1.3B: (未報告)
  • YourMT3+: 44.8

RWC ポピュラー (RWC Popular)

  • Dettato: 54.0(未報告)
  • MuScriptor 1.3B: 44.3 / 36.1
  • YourMT3+: (未報告)

RWC クラシカル (RWC Classical)

  • Dettato: 64.4 / 65.8 / 58.4 / 62.4
  • MuScriptor 1.3B: (未報告)
  • YourMT3+: 62.4

RWC ジャンル (RWC Genre)

  • Dettato: 48.7(未報告)
  • MuScriptor 1.3B: 42.6 / 35.6
  • YourMT3+: (未報告)

RWC ジャズ (RWC Jazz)

  • Dettato: 55.7(未報告)
  • MuScriptor 1.3B: 52.0 / 47.1
  • YourMT3+: (未報告)

RWC ライセンスフリー (RWC Royalty-Free)

  • Dettato: 61.6 / 56.2 / 46.8 / 45.4
  • MuScriptor 1.3B: (未報告)
  • YourMT3+: 45.4

合成データ (SLAHK2100)

  • Dettato: 68.4(未報告)/ 51.1(未報告)
  • MuScriptor 1.3B: (未報告)
  • YourMT3+: (未報告)

免責事項と注意点

ベンチマーク結果に関する重要な留意点です。

  • 実用精度の確認: ベンチマークスコアが高くても、モデルの実用的な精度を正確に評価するには実際に動作を確認することが不可欠です。
  • 苦手分野: 現時点で本モデルが苦手としている例として、「楽器の分離」 が挙げられます。
  • 出力形式: 出力はメトロノミーに同期したピッチデータを含む、演奏可能な MIDI ファイル です。
    • 「実際に演奏できる形式(例:楽譜など)」を直接ご希望の場合は、Songscription や Klangio をお勧めいたします。これらは優れたツールであり、この分野の可能性を広げている企業によって提供されています。

開発の背景と技術的特徴

トレーニングデータ

  • 使用楽曲: "Sousa, The Stars and Stripes Forever: 'The President's Own'"(アメリカ海軍楽団演奏)。
    • John Philip Sousa の「Complete Marches of John Philip Sousa, Vol. 3」に収録された米国政府公認録音であり、パブリックドメインです。
  • MIDI データ: ダウンロード可能です。

kobimusic の目標

  • ムーシャン(音楽家)を支援するだけでなく、置換することを目的といたしません。
  • 常に著作権法に従うことがポリシーです。

トレーニング手法

Dettato は以下のアプローチを採用しています。

  1. 合成楽器録音: 使用済み。
  2. CC(単独楽器): URMP データセットを使用。
  3. サウンドフォント融合: 「Soundfont Babies」と私が発表した技術を活用し、約 20 つのサウンドフォントを融合させるアプローチを採用。
  4. 重要: 著作権のある録音は一切使用していません。

アーキテクチャに関する考察

開発は約 10 ヶ月前に開始され、4 月にプロジェクトを一時的中断して**「再構築」**を行いました。その理由と技術的変化は以下の通りです。

プロジェクトの転換点

  • 当初の認識: AMT(音声から MIDI)を単なる**「データ問題」**として捉えていました。
  • 現実のボトルネック: 実際にはボトルネックが**「アーキテクチャ」**にあることが判明しました。

問題解決の鍵:グローバル vs ローカル

  • OMR(楽譜認識)と AMT は多くの共通点を持ち、当初はアルゴリズム的アプローチで解決を試みましたが不十分でした。
  • 大規模言語モデル(LLM)の要素を組み込むと、自然に**合成データへの過学習(オーバーフィッティング)**を起こす傾向がありました。
    • 原因: AMT と OMR の問題を「グローバル(全体)」な視点で捉えると、問題の本質的な性質が変わってしまうためです。
  • 解決策: 両者を**「ローカル(局所的)」な問題として再構築**することで解決しました。

アーキテクチャ構成

  • OMR: デテクターモデルを使用。
  • AMT: ピッチレーンモデルを使用。

結論

オープンソースおよびクローズドソースの音楽関連企業に、このアプローチからの学びを願っています。

「著作権のある録音を使用できない」という制約は、開発を妨げるものではありません。 むしろ、その制約がイノベーションを促進し、最終的により優れたモデルの誕生につながると考えています。

同じ日のほかのニュース

一覧に戻る →

2026/11/21 3:33

慌ててのお知らせ:Alessandro Masullo(GRH)

## Japanese Translation: Alessandro Masullo は、数十年にわたる数学的猜想である一般リーマン予想(GRH)に関する証明の提案を発表し、その公開が迫っていると表明した。この画期的な成果は完全に人間によるものであり、数学者の Brian Conrad による強力な検証が得られている。Conrad 氏は草案を数月にわたり精査し、現在統合されている詳細なフィードバックを提供しているもともとの予定では、Masullo 氏がさらに推敲のためにスタンフォード大学で 1 年間過ごすことが計画されていたが、現在は米数学会会議中に現在の草案を即座に公開することが専門家による迅速な検証を可能にするとして最適と判断されている。直近の目標は、専門家が既存の理論枠組み内において議論を正式化し、わずかなギャップを速やかに解消することである。成功すれば、この長年の未解決問題の解決は数論に大きな影響を与え、分野全体の焦点を新たな証明をその核心構造に取り入れることへとシフトさせながら、その厳密な正確性を確保することとなる。

2026/11/21 5:12

インクリンク 2 ミニ

## 日本語翻訳: Anthropic は、標準的な消費者向けラップトップ(例:MacBook Pro M5 Pro)のローカルでの利用を目的とした、高効率な人工知能モデル「Inkling 2 Mini」を発売します。この 264 億パラメータを持つエキスパート混合物(Mixture-of-Experts)システムは、中間層にループアーキテクチャを独自に採用しており、トークンあたり 6 層のブロックが 2 つあり、それぞれがトークンごとに 3 回ループします。この設計により複雑な推論能力を強化しつつ、出力は簡潔で人間が読みやすいものとして保たれます。モデルにはアクティブパラメータ 34 億と、ループオーバーヘッドを含むトークンあたり重み活性化値 54 億があります。重みは最初の 20 層で NVFP4 でトレーニングされ、最後の 4 層では MXFP8 でトレーニングされており、NVIDIA GB300 プラットフォーム上でトレーニングされたにもかかわらず量子化による損失はありません。 ベンチマーク結果により、他の 100B パラメータ未満のモデルを上回ることがコーディングタスクで確認されており、DeepSWE v1.1(48.2%)および Vals Index v2.2(46.5%)においてオープンウェイトモデルで首位に立ちました。PMPP-Hard ではより大きな Inkling 2 Small に迫るコーディングスコアを達成し、SWEBench Multilingual などでは Qwen3.8-27B のみを凌ぐ水準です(Inkling 2 Mini: 79.2% vs Qwen: 71.1%)。ループアーキテクチャにより、「no-CoT 時間地平線」が延長され(Think Fast タスクでは 16 秒から 37 秒へ)、人間が読みやすい出力を維持できますが、これらの思考を制御する steerability は依然として低く(〜0.1%)です。LinuxArena での安全性テストでは、Qwen3.6 にて監視された場合、ループ回数に基づくモニタービリティの明確な傾向は見られませんでした。 Stanford の Hazy Research Lab と Goodfire lab と共同開発されたこのモデルは、先進的な NVFP4 量子化技術を採用し、高いインテリジェンス毎ジュール効率(DGX Spark で 0.703)を維持しています。研究者たちは現在、Tinker や Hugging Face を介してオープンウェイトに直接アクセスし、推論をカスタマイズできるようになりました。これには、変数ループの研究用バリエーション("TML-d24-varloop-research")も含まれており、1 回から 5 回のループパスをサポートします。このリリースは、洗練されたオフライン AI 機能を日常デバイスへ持ち込む方向への大きな転換を示しています。研究者たちは、同モデルが構築したフライトシミュレータを飛行モードで実行することに成功し、その実現可能性を実証しました。

2026/11/21 7:30

NINLIVE:ナイン・インチ・ネイルズのライブアーカイブ

## Japanese Translation: この独立した、親和関係のないファン運営のアーカイブは、「The Future Is Here」というプラットフォームを介して、1988年から2026年までのニル・ヤンナイルスのコンサート1,200回以上のストリーミングアクセスを提供しており、46カ国373都市の公演にわたります。デジタルライブラリには、1,900以上の録音、4,600枚以上の写真およびメディアファイル、363曲のトラックが含まれています。最近、管理者たちは歴史的なオーディオ転送の大きな未処理作業を完了しました。これには、NYCのテーパーのための200本のDATテーププロジェクトの完了や、acc123456コレクションの追加などがあり、新しいファンの投稿のより迅速な統合を可能にしています。アーカイブ上またはまだ存在しないアイテムや新しい転送の依頼はメールでお問い合わせいただけます。コンテンツキュレーションはコミュニティによる貢献によって推進されています:管理者が各公演に対してチケットスラブ、セットリストスキャン、パス、写真を追加する一方、カメラマンは外部サイトへのリンクを付与した公演ハイライトの投稿を招待されます。お気に入りの録音を保存し、コンテンツを整理するためには、Discord経由でログインする必要があります。ニル・ヤンナイルスのコアツアーのみならず、関連プロジェクトやサイドパスもアーカイブに含まれており、積極的な参加を通じて歴史保存と現代的アクセシビリティのバランスに成功しています。

Show HN: 音声を MIDI に変換するモデルを 60 倍効率化しました | そっか~ニュース