
2026/07/17 5:03
100 ドルで AI 音楽動画:Claude Fable 5 vs. GPT-5.6 Sol
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
新設されたオープンソースの代理エージェントハネスにより、単一首歌からフル・ミュージックビデオを自律的に生成し、同時に固定予算を厳格に管理することが可能になりました。该系统は github.com/hershalb/music-video-arena で利用可能です。システムは、2 つの高度なモデル(Claude Fable 5 および GPT-5.6 Sol)を用い、$25 または $100 の予算で合計 4 回の実行に対して、Bruno Mars と Mark Ronson の "Uptown Funk" をテストしました。各実行では、同一の入力(楽曲、説明文、歌詞トランスクリプト)と 6 つのツール(plan、web_search、get_budget、generate_image、generate_video、run_command)が使用されました。動画・画像の有料生成は資金が 0 に達した時点で即時停止しましたが、編集プロセスは継続しました。また、すべてのツール呼び出し、課金、エラー、およびモデルメッセージがログに記録されました。4 回の実行はいずれも時間ステップ制限内で独立して完了し、オリジナル楽曲と mux(混合)された有効なフル・長さのビデオを出力しました。予算の枯渇は早く発生し、$25 の場合両モデルともほぼ全予算を消費した(Sol はキャッシュされた入力トークンを過剰に利用)、一方 $100 の場合は Sol が生成に約 $36.57、Fable 5 が約 $48.60 を支出し、Fable 5 は完了が早かったにもかかわらず総コストが $73.65 と高くなりました。ツールの使用状況は異なり、3 つの実行はテキストからビデオへの変換のみを用いましたが、Sol の $25 実行では画像からビデオのパイプラインを、Sol の $100 実行では 3 つの異なる動画モデルを混在して使用しました。両モデルとも FAL を専用とし、利用可能な Replicate キーは活用しませんでした。制約下での成功的制作にもかかわらず、すべての実行において顕著な創造的な一貫性の欠如が観察されました:キャラクターおよびストーリーの一貫性は低く、歌詞は文字通り解釈される傾向があり(例:"Make a dragon wanna retire"に対して龍を生成)、クリップの動きと楽曲とのテンポ一致も弱かった。どのモデルも編集の反復や自己評価を実行しませんでした;主観的な品質は依然として限定的でした。最も発明的な編集を行ったのは Sol の $25 実行で、テキストを重ね書きし静止画を効果的にアニメーション化しました。全体として、この実験は現在のコスト制御能力と創造的実行の間にある重要なギャップを浮き彫りにしており、厳格な予算管理下であっても、自律的视频制作はコスト効率と芸術的一貫性を両立させる上で大きな障壁に直面しています。将来的には自己評価メカニズムとより優れた編集戦略を取り込むことで、信頼性と品質の向上を図る必要があります。
本文
モデル自律型音楽ビデオ生成実験報告:フルサイズミュージックビデオの作成プロセスと考察
当社は、**「モデルに任せておき、立ち去った状態でフルサイズミュージックビデオを完成させる」**というミッションを遂行するための小型代理系環境構築システム(ハーネス)を開発しました。 本実験では、最先端レベルのモデルに対し、以下の要素を付与し、自律的な作業を行うよう指示を与えました。
- 明確な任務: フルサイズミュージックビデオの作成
- 拘束条件: 厳格なドル単位の予算制約
- 実行環境: クリック映像生成・編集ツール一式(手渡し)
- 評価基準: 各モデルがどの動画を生成し、自ら撮影した映像を ffmpeg で編集し、最終カットを組み立てるか
セットアップと環境構成
モデルは以下の 6 つのツールを用いて、自律的なツール呼び出しループを実行しました。
| ツール名 | 機能・用途 | コスト特性 |
|---|---|---|
| plan | 思考用ツール(内部処理) | コストゼロ |
| web_search | 動画生成モデル/API の調査、情報取得 | 有無を問わず使用可能 |
| get_budget | 残りの予算確認 | 管理用 |
| generate_image / generate_video | 画像・ビデオ生成(FAL や Replicate 利用) | 有料(唯一の課金ツール) |
| run_command | ローカルシェル(ffmpeg/ffprobe 利用) | コストなし |
ハーネスの特徴
- 予算管理: 有料生成動作は予算 0 で拒否されますが、編集作業は継続可能です。
- 完全な可視化: メッセージ、ツール呼び出し、課金実績、エラーは一切ログ化されており、全ての動作を追跡可能です。
- オープンソース化: コードは github.com/hershalb/music-video-arena で公開されています。
実験条件
- 対象モデル:
とClaude Fable 5GPT-5.6 Sol - 予算条件: 2 つの金額($25, $100)
- 入力データ:
- 同一楽曲(Bruno Mars & Mark Ronson の『Uptown Funk』)
- 短いテキスト説明
- タイムスタンプ付き歌詞台本
生成されたビデオと実験結果
各モデルは自律的に組み立てた最終出力 (
output.mp4) を生み出しました。全てのランでステップ数制限や時間制限に達することはなく、元の楽曲を mux 入れた有効なフルレングスビデオが完成しています。
クリック比較一覧
· $25Claude Fable 5
· $25GPT-5.6 Sol
· $100Claude Fable 5
· $100GPT-5.6 Sol
データ一覧表
| モデル | 予算額 | 所要時間 (Wall-clock) | 生成支出 (FAL コスト) | レゾリューション |
|---|---|---|---|---|
| Claude Fable 5 | $25 | 39 分 10 秒 | $24.30 | 1280x720 |
| GPT-5.6 Sol | $25 | 42 分 52 秒 | $23.18 | 1280x720 |
| GPT-5.6 Sol | $100 | 49 分 39 秒 | $36.57 | 1280x720 |
| Claude Fable 5 | $100 | 38 分 56 秒 | $48.60 | 1920x1080 |
予算利用の傾向:
- $25 ラン: 両モデルともほぼ予算を完全に使い切りました。
- $100 ラン:
は $36.57、Sol
は $48.60 を支出し、予算増大は素材量の増加に直結しました。Fable- ※このコストは生成モデル実行のみで、LLM トークンコストは別途計算されます。
モデルごとのアプローチの違い
ツール選択の自由が与えられた結果、両モデルのアプローチは明確に分化しました。4 つのランのうち 3 つは**「テキスト → ビデオ」**という単純な生成に留まりましたが、
Sol ($25) は画像ベースのパイプラインを試みました。
アプローチ比較表
| ラン (Run) | 画像生成モデル | ビデオ生成モデル | アプローチ概要 |
|---|---|---|---|
| Fable 5 · $25 | なし | Wan 2.5 t2v | テキストのみから直接ビデオへ ($0.05/秒) |
| Sol · $25 | FLUX schnell ($0.003/枚) | Wan 2.2-5b i2v ($0.10/秒) | 画像→ビデオ変換。静止画生成後にアニメーション化。 |
| Sol · $100 | なし | Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 | テキストからビデオへ。複数のモデルを混在使用。 |
| Fable 5 · $100 | なし | Seedance 1.0 Pro t2v | テキストのみからビデオへ (1080p)。高解像度を選択。 |
クリップ数の変動
- 生成されたクリップ数は、ランによって 46 個〜80 個 の範囲で変動しました。
- 価格表記は FAL の公定レート(秒単価)に基づいています。
コスト構造の徹底解析
以下に各ランの詳細なコスト内訳を示します。これらは失敗を含んだ試行回数全体をカウントしています。
1. トークン使用量とインパット分析
モデル間のトークン処理量の差は顕著です。
| ラン | インプットトークン | オプトアウト (高速化) | リージニング | キャッシュインパット |
|---|---|---|---|---|
| Fable 5 · $25 | 1,476,900 | 44,341 | なし | 0 |
| Sol · $25 | 2,956,270 | 33,220 | 9,656 | 2,558,029 |
| Sol · $100 | 2,097,572 | 31,715 | 12,330 | 1,819,050 |
| Fable 5 · $100 | 2,264,610 | 48,029 | なし | 0 |
注:
($25) は他のランと比べて入力トークン量が圧倒的に多く、キャッシュ利用も活発です。Sol
2. 総コスト対照表
- 生成支出: FAL への課金(メーター対象)
- LLM トークンコスト: インパット・アウトパット両方を含む(Fable: $10/M, Sol: $5/M ※百万件当たり)
- 総額: 上記合計
| ラン | 生成支出 | LLM トークンコスト | 総コスト |
|---|---|---|---|
| Fable 5 · $25 | $24.30 | $16.99 | $41.29 |
| Sol · $25 | $23.18 | $4.27 | $27.45 |
| Sol · $100 | $36.57 | $3.25 | $39.82 |
| Fable 5 · $100 | $48.60 | $25.05 | $73.65 |
コスト分析:
- Fable 5: トークン単体コストも高く($16.99〜$25.05)、総コストの約 30〜40% を占めます。
- GPT-5.6 Sol: トークン使用量が多いにもかかわらず、トークン単価が安く済んでおり、トータルのトークンコストは $3〜$4 と低止まりです。
各ランの全ログ(スクリプト)
各ランの詳細な思考プロセス、計画案、ツール呼び出し、コマンドは以下のリポジトリで閲覧可能です。
エラー発生状況
- 「失敗呼び出し」は主にプロバイダ側の一時的なネットワーク障害によるもので、課金されません。
- ただし、モデルはこれらへの再試行にステップ数を消費しています。
考察と評価
生成されたミュージックビデオは傑作ではありませんでしたが、フロンティアレベルのモデルにおける明確なギャップを浮き彫りにしました。
メイン指摘点
- キャラクターとストーリーの一貫性の欠如
- ショット間でキャラクターが変質しており、頭から尾まで一貫した物語を持てませんでした。
- 直訳的な歌詞解釈
- モデルは歌詞を文字通りに処理します(例:「竜が引退したい」という指示に対し、実際の竜を表示)。数ショットでは面白かったものの、全体として奇妙な印象を与えました。
- テンポとのマッチングの弱さ
- ffmpeg のビート検出でカットは正確ですが、クリップ内部の動きやカメラ移動が楽曲のテンポと合っていない不自然さがあります。「gotta kiss myself」の仕草が遅すぎて音楽に間に合わないなど。
- 編集的な創造性の偏り
- $25 の
が最も発明的でした(テキストオーバーレイ、静止画アニメ化、エフェクト使用)。他方は単なる継ぎ接ぎです。$100 のSol
も複数のモデルを試みることで多様性を見せました。Sol
- $25 の
- 反復の欠如 (Lack of Iteration)
- クリップがある時点で結合のみを行い、再カットやエフェクト追加のための戻りは稀でした。自らのクリップを真剣に検証することもありませんでした。
コスト対出力と予算について
- Fable 5 の高コスト: より高価な選択でありましたが、完了速度は
以上です。主観的に $100 ランのビデオをわずかに好みました。Sol - $100 予算の大きさ: おそらく大きすぎた可能性があります。モデルは上限に近づくことを避け、ステップ数を控えめにしました。余剰資金で「一貫したキャラクター像の事前生成」などを試みれば良かったかもしれません。
ツール利用の傾向
- 両モデルとも Replicate は使用せず、全てのランで FAL を排他的に使用しました。
ご自身でもお試しください
このアリーナはオープンソースです。ご自身の楽曲や予算を設定し、対戦させたいモデルを指定することで、独自の結果を観察いただけます。
- リポジトリ:
github.com/hershalb/music-video-arena - 招待: イシューや PR の作成、セットアップに関するフィードバックも歓迎します。
今後の展望
将来的にモデルがさらに賢くなり、主観的・様式的なタスクでも改善できる可能性はありますが、現状では自己レビューの欠如や反復プロセスの不足という点について、まだ十分な改善余地があります。