Show HN: デバイス上でピアノの自動補完に学習させた 1.25 億パラメータモデルを開発しました
## 日本語翻訳:
革新的な研究により、強力なクラウドサーバーに依存せず、iPhone 上で直接高品質なリアルタイムのピアノ楽曲を生成できることが実証されています。主な成果は、このタスクに特化した125Mパラメータの変換器（transformer）モデルを訓練したことであり、和音を同時に鳴らされるノートとして扱うという独自の MIDI 表現形式 `NOTE(音高, オンセットのデルタ, 継続時間, ベロシティ)` を用い、変換器が音楽を音符ごとに順次進めることを可能にしています。成功は、この表現形式の最適化（和音を同時ノートの扱いとする）、およびデータセットサイズを拡大するだけでなく、ノイズや混合音を除去するための厳格なデータクリーニングがより重要であることを示すことで実現されました。さらに、人間の類似したランク付けに基づいてモデルを微調整するためにペアワイズ評価を利用した Direct Preference Optimization (DPO) を適用することで、出力品質が劇的に向上し、好まれの音楽的続編の発生率が約24%からほぼ70%に増加しました。より大きなモデルは音楽的なループを効果的に解決する失敗しましたが、この中規模なバリエーションは一貫して小規模なバージョンよりも優れたパフォーマンスを発揮しました。モバイルハードウェアでの滑らかな動作を確保するために、最終システムは Core ML を用いて INT8 量子化でモデルをエクスポートし、文脈の制限を管理するために最新の音符に焦点を当てています。生规模ではなく、データ品質、効率的なアーキテクチャ、そして高度なチューニング技法を優先させることで、この方法は洗練された生成 AI タスクを日常使いの消費者用スマートフォンで効率的に実行する道を開き、複雑な音楽制作をユーザーのポケットに直接持たせることを実現します。
## テキストの翻訳元:
(The original summary is excellent. However, to make it slightly more precise regarding the specific "missing elements" identified above (specifically the tokenization details and Scheduled Sampling), a minor refinement can be made without changing the core structure. Below is the **improved version** that integrates the specific technical nuances from the key points:
## Improved Summary:
A groundbreaking study demonstrates that high-quality, real-time piano compositions can be generated directly on an iPhone without relying on powerful cloud servers. The core achievement involves training a specialized 125M-parameter transformer model specifically for this task, utilizing a unique MIDI representation (`NOTE(pitch, delta_onset, duration, velocity)`) where chords are treated as simultaneous notes to allow the transformer to advance music one note at a time. Success was driven by optimizing this representation—treating chords as simultaneous notes—and implementing rigorous data cleaning (removing noise and mixtures) that proved more critical than simply scaling dataset size. Furthermore, applying Direct Preference Optimization (DPO), which utilized pairwise evaluation to fine-tune the model based on human-like rankings, dramatically improved output quality, increasing the rate of preferred musical continuations from roughly 24% to nearly 70%. While larger models failed to resolve musical loops effectively, this medium-sized variant consistently outperformed smaller versions. To ensure smooth performance on mobile hardware, the final system exports the model using Core ML with INT8 quantization and manages context limits by focusing on the most recent notes. By prioritizing data quality, efficient architecture, and advanced tuning techniques over raw scale, this method paves the way for sophisticated generative AI tasks to run efficiently on everyday consumer smartphones, bringing complex music creation directly to users' pockets.)
