100 ドルで AI 音楽動画:Claude Fable 5 vs. GPT-5.6 Sol

2026/07/17 5:03

100 ドルで AI 音楽動画:Claude Fable 5 vs. GPT-5.6 Sol

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

新設されたオープンソースの代理エージェントハネスにより、単一首歌からフル・ミュージックビデオを自律的に生成し、同時に固定予算を厳格に管理することが可能になりました。该系统は github.com/hershalb/music-video-arena で利用可能です。システムは、2 つの高度なモデル(Claude Fable 5 および GPT-5.6 Sol)を用い、$25 または $100 の予算で合計 4 回の実行に対して、Bruno Mars と Mark Ronson の "Uptown Funk" をテストしました。各実行では、同一の入力(楽曲、説明文、歌詞トランスクリプト)と 6 つのツール(plan、web_search、get_budget、generate_image、generate_video、run_command)が使用されました。動画・画像の有料生成は資金が 0 に達した時点で即時停止しましたが、編集プロセスは継続しました。また、すべてのツール呼び出し、課金、エラー、およびモデルメッセージがログに記録されました。4 回の実行はいずれも時間ステップ制限内で独立して完了し、オリジナル楽曲と mux(混合)された有効なフル・長さのビデオを出力しました。予算の枯渇は早く発生し、$25 の場合両モデルともほぼ全予算を消費した(Sol はキャッシュされた入力トークンを過剰に利用)、一方 $100 の場合は Sol が生成に約 $36.57、Fable 5 が約 $48.60 を支出し、Fable 5 は完了が早かったにもかかわらず総コストが $73.65 と高くなりました。ツールの使用状況は異なり、3 つの実行はテキストからビデオへの変換のみを用いましたが、Sol の $25 実行では画像からビデオのパイプラインを、Sol の $100 実行では 3 つの異なる動画モデルを混在して使用しました。両モデルとも FAL を専用とし、利用可能な Replicate キーは活用しませんでした。制約下での成功的制作にもかかわらず、すべての実行において顕著な創造的な一貫性の欠如が観察されました:キャラクターおよびストーリーの一貫性は低く、歌詞は文字通り解釈される傾向があり(例:"Make a dragon wanna retire"に対して龍を生成)、クリップの動きと楽曲とのテンポ一致も弱かった。どのモデルも編集の反復や自己評価を実行しませんでした;主観的な品質は依然として限定的でした。最も発明的な編集を行ったのは Sol の $25 実行で、テキストを重ね書きし静止画を効果的にアニメーション化しました。全体として、この実験は現在のコスト制御能力と創造的実行の間にある重要なギャップを浮き彫りにしており、厳格な予算管理下であっても、自律的视频制作はコスト効率と芸術的一貫性を両立させる上で大きな障壁に直面しています。将来的には自己評価メカニズムとより優れた編集戦略を取り込むことで、信頼性と品質の向上を図る必要があります。

本文

モデル自律型音楽ビデオ生成実験報告:フルサイズミュージックビデオの作成プロセスと考察

当社は、**「モデルに任せておき、立ち去った状態でフルサイズミュージックビデオを完成させる」**というミッションを遂行するための小型代理系環境構築システム(ハーネス)を開発しました。 本実験では、最先端レベルのモデルに対し、以下の要素を付与し、自律的な作業を行うよう指示を与えました。

  • 明確な任務: フルサイズミュージックビデオの作成
  • 拘束条件: 厳格なドル単位の予算制約
  • 実行環境: クリック映像生成・編集ツール一式(手渡し)
  • 評価基準: 各モデルがどの動画を生成し、自ら撮影した映像を ffmpeg で編集し、最終カットを組み立てるか

セットアップと環境構成

モデルは以下の 6 つのツールを用いて、自律的なツール呼び出しループを実行しました。

ツール名機能・用途コスト特性
plan思考用ツール(内部処理)コストゼロ
web_search動画生成モデル/API の調査、情報取得有無を問わず使用可能
get_budget残りの予算確認管理用
generate_image / generate_video画像・ビデオ生成(FAL や Replicate 利用)有料(唯一の課金ツール)
run_commandローカルシェル(ffmpeg/ffprobe 利用)コストなし

ハーネスの特徴

  • 予算管理: 有料生成動作は予算 0 で拒否されますが、編集作業は継続可能です。
  • 完全な可視化: メッセージ、ツール呼び出し、課金実績、エラーは一切ログ化されており、全ての動作を追跡可能です。
  • オープンソース化: コードは github.com/hershalb/music-video-arena で公開されています。

実験条件

  • 対象モデル:
    Claude Fable 5
    GPT-5.6 Sol
  • 予算条件: 2 つの金額($25, $100
  • 入力データ:
    • 同一楽曲(Bruno Mars & Mark Ronson の『Uptown Funk』)
    • 短いテキスト説明
    • タイムスタンプ付き歌詞台本

生成されたビデオと実験結果

各モデルは自律的に組み立てた最終出力 (

output.mp4
) を生み出しました。全てのランでステップ数制限や時間制限に達することはなく、元の楽曲を mux 入れた有効なフルレングスビデオが完成しています。

クリック比較一覧

  1. Claude Fable 5
    · $25
  2. GPT-5.6 Sol
    · $25
  3. Claude Fable 5
    · $100
  4. GPT-5.6 Sol
    · $100

データ一覧表

モデル予算額所要時間 (Wall-clock)生成支出 (FAL コスト)レゾリューション
Claude Fable 5$2539 分 10 秒$24.301280x720
GPT-5.6 Sol$2542 分 52 秒$23.181280x720
GPT-5.6 Sol$10049 分 39 秒$36.571280x720
Claude Fable 5$10038 分 56 秒$48.601920x1080

予算利用の傾向:

  • $25 ラン: 両モデルともほぼ予算を完全に使い切りました。
  • $100 ラン:
    Sol
    は $36.57、
    Fable
    は $48.60 を支出し、予算増大は素材量の増加に直結しました。
    • ※このコストは生成モデル実行のみで、LLM トークンコストは別途計算されます。

モデルごとのアプローチの違い

ツール選択の自由が与えられた結果、両モデルのアプローチは明確に分化しました。4 つのランのうち 3 つは**「テキスト → ビデオ」**という単純な生成に留まりましたが、

Sol
($25) は画像ベースのパイプラインを試みました。

アプローチ比較表

ラン (Run)画像生成モデルビデオ生成モデルアプローチ概要
Fable 5 · $25なしWan 2.5 t2vテキストのみから直接ビデオへ ($0.05/秒)
Sol · $25FLUX schnell ($0.003/枚)Wan 2.2-5b i2v ($0.10/秒)画像→ビデオ変換。静止画生成後にアニメーション化。
Sol · $100なしWan 2.5, Veo 3.1 Lite, Hailuo 2.3テキストからビデオへ。複数のモデルを混在使用
Fable 5 · $100なしSeedance 1.0 Pro t2vテキストのみからビデオへ (1080p)。高解像度を選択。

クリップ数の変動

  • 生成されたクリップ数は、ランによって 46 個〜80 個 の範囲で変動しました。
  • 価格表記は FAL の公定レート(秒単価)に基づいています。

コスト構造の徹底解析

以下に各ランの詳細なコスト内訳を示します。これらは失敗を含んだ試行回数全体をカウントしています。

1. トークン使用量とインパット分析

モデル間のトークン処理量の差は顕著です。

ランインプットトークンオプトアウト (高速化)リージニングキャッシュインパット
Fable 5 · $251,476,90044,341なし0
Sol · $252,956,27033,2209,6562,558,029
Sol · $1002,097,57231,71512,3301,819,050
Fable 5 · $1002,264,61048,029なし0

:

Sol
($25) は他のランと比べて入力トークン量が圧倒的に多く、キャッシュ利用も活発です。

2. 総コスト対照表

  • 生成支出: FAL への課金(メーター対象)
  • LLM トークンコスト: インパット・アウトパット両方を含む(Fable: $10/M, Sol: $5/M ※百万件当たり)
  • 総額: 上記合計
ラン生成支出LLM トークンコスト総コスト
Fable 5 · $25$24.30$16.99$41.29
Sol · $25$23.18$4.27$27.45
Sol · $100$36.57$3.25$39.82
Fable 5 · $100$48.60$25.05$73.65

コスト分析:

  • Fable 5: トークン単体コストも高く($16.99〜$25.05)、総コストの約 30〜40% を占めます。
  • GPT-5.6 Sol: トークン使用量が多いにもかかわらず、トークン単価が安く済んでおり、トータルのトークンコストは $3〜$4 と低止まりです。

各ランの全ログ(スクリプト)

各ランの詳細な思考プロセス、計画案、ツール呼び出し、コマンドは以下のリポジトリで閲覧可能です。

エラー発生状況

  • 「失敗呼び出し」は主にプロバイダ側の一時的なネットワーク障害によるもので、課金されません。
  • ただし、モデルはこれらへの再試行にステップ数を消費しています。

考察と評価

生成されたミュージックビデオは傑作ではありませんでしたが、フロンティアレベルのモデルにおける明確なギャップを浮き彫りにしました。

メイン指摘点

  1. キャラクターとストーリーの一貫性の欠如
    • ショット間でキャラクターが変質しており、頭から尾まで一貫した物語を持てませんでした。
  2. 直訳的な歌詞解釈
    • モデルは歌詞を文字通りに処理します(例:「竜が引退したい」という指示に対し、実際の竜を表示)。数ショットでは面白かったものの、全体として奇妙な印象を与えました。
  3. テンポとのマッチングの弱さ
    • ffmpeg のビート検出でカットは正確ですが、クリップ内部の動きやカメラ移動が楽曲のテンポと合っていない不自然さがあります。「gotta kiss myself」の仕草が遅すぎて音楽に間に合わないなど。
  4. 編集的な創造性の偏り
    • $25 の
      Sol
      が最も発明的でした(テキストオーバーレイ、静止画アニメ化、エフェクト使用)。他方は単なる継ぎ接ぎです。$100 の
      Sol
      も複数のモデルを試みることで多様性を見せました。
  5. 反復の欠如 (Lack of Iteration)
    • クリップがある時点で結合のみを行い、再カットやエフェクト追加のための戻りは稀でした。自らのクリップを真剣に検証することもありませんでした。

コスト対出力と予算について

  • Fable 5 の高コスト: より高価な選択でありましたが、完了速度は
    Sol
    以上です。主観的に $100 ランのビデオをわずかに好みました。
  • $100 予算の大きさ: おそらく大きすぎた可能性があります。モデルは上限に近づくことを避け、ステップ数を控えめにしました。余剰資金で「一貫したキャラクター像の事前生成」などを試みれば良かったかもしれません。

ツール利用の傾向

  • 両モデルとも Replicate は使用せず、全てのランで FAL を排他的に使用しました。

ご自身でもお試しください

このアリーナはオープンソースです。ご自身の楽曲や予算を設定し、対戦させたいモデルを指定することで、独自の結果を観察いただけます。

  • リポジトリ:
    github.com/hershalb/music-video-arena
  • 招待: イシューや PR の作成、セットアップに関するフィードバックも歓迎します。

今後の展望

将来的にモデルがさらに賢くなり、主観的・様式的なタスクでも改善できる可能性はありますが、現状では自己レビューの欠如反復プロセスの不足という点について、まだ十分な改善余地があります。

同じ日のほかのニュース

一覧に戻る →

2026/07/16 23:46

Kimi K3:オープン・フロンティア・インテリジェンス

## Japanese Translation: Kimi K3 は、ネイティブビジョン機能と 100 万トークンのコンテキストウィンドウを備えた、開かれた 2.8T パラメータモデルであり、同クラスにおいて初めてこの規模に達したものです。Kimide Delta Attention (KDA)、Attention Residuals (AttnRes)、Stable LatentMoE(896 のエキスパートのうち 16 を有効化)を活用し、Kimi K2 に比べて約 2.5 倍のスケーリング効率向上を実現しています。API、モバイルアプリ(iOS、Android、HarmonyOS)、デスクトップアプリ(Windows/Mac v3.1.0 以降)、ターミナル(Kimi Code)、および Kimi Work プラットフォーム経由で現在利用可能です。完全なモデル重みは 2026 年 7 月 27 日にリリース予定です。 発売時はデフォルトで"max"の思考努力で動作し、将来のアップデートで低い effort と高い effort のモードが個別に導入される予定です。全体的一般ベンチマークでは Claude Fable 5 や GPT 5.6 Sol などのプロプライエタリモデルに劣りますが、「max」推論(temperature = 1.0, top-p = 1.0)を使用する際は、評価スイート内でテストされた他のすべてのモデルで一貫して高スコアを獲得しています。NVIDIA H200 上での Kernel Optimization テストでは、Claude Fable 5 と競合的な性能を誇り、Opus 4.8、GPT 5.6 Sol、GPT 5.5 を大幅に上回っています。また、NanoTriton を成功裏に構築しており、これは Triton や torch.compile に匹敵するかそれ以上のパフォーマンスを発揮しながら、エンドツーエンドの nanoGPT 訓練を継続可能なカスタム GPU コンパイラです。 ドメイン固有のベンチマークでは Kimi K3 が内部指標で優位を示しています:DeepSWE(67.5)、Program Bench(77.8)、Terminal Bench 2.1(88.3)。顕著なケーススタディには、48 時間以内にナノモデルを供給するチップの自律的デザイン(シミュレーションにおいて 100 MHz のタイミングクロージャー達成および>8,700 トークン/秒のデコードスループット達成)、ならびに 20 以上の論文を相互検証し Python コード 3,000 行以上を生成することで複雑な天体物理学研究タスクを数週間から約 2 時間へと短縮する実績が含まれます。 Kimi Work には、永続的な視覚インタラクションのためのウィジェットおよびダッシュボード、そしてネイティブ動画編集機能を搭載した新機能が追加されました。モデルは API 経由で利用可能で、入力/出力それぞれに対し MToken あたり 0.30 米ドル・3.00 米ドル・15.00 米ドルの料金体系を適用しています。制限事項としては、思考履歴への感受性(特定のハネス互換性を必要とする例:Kimi Code など)、および曖昧なタスクに対して過度の能動性を示す傾向があり、これらには明示的な振る舞い制約が必要です。

2026/07/17 5:18

LM Studio Bionic:オープンソースモデル用の AI エージェント

## Japanese Translation: LM Studio Bionic は、機密データを厳格な「ゼロデータ保持ポリシー」に従って安全に処理するために設計された専用のワークアプリケーションとして発売されました。このポリシーにより、文書やコードがより広範なシステムの学習に使用されることは一切ありません。プラットフォームは柔軟な実行環境を提供しており、ユーザーは自身のハードウェア上でローカルにタスクを実行できるほか、LM Link プロトコルを介して接続したり、処理直後にリクエストを削除する安全なクラウドを利用したりすることができます。ただし、クラウドモデルへのアクセスには LM Studio アカウントの作成および課金設定が必要です。主な機能としては、Mistral AI Voxtral を活用したオフライン音声認識と、GLM 5.2 や Kimi K2.7 Code のようなモデルを用いた高度なコーディング能力(ローカルコードベースの検査、説明、編集)が挙げられます。文書処理には PDF スライド表計算シートなどが含まれます。すべてのファイルはサンドボックス化された「Work project」環境内で安全に扱われます。今後のアップデートでは、ジョブごとに特定モデルを選択するための Bionic エージェントおよび、文書の変更を元に戻せる自動チェックポイント機能が導入されます。このソリューションは、ユーザーのプライバシーを犠牲にしてモデル学習を行うプラットフォームとは異なり、組織がコードベースの検査や PDF の分析などを実行しながら、コストを正確に管理でき、安心して作業を進められるよう支援します。

2026/07/17 1:06

Microsoft Comic Chat がオープンソース化されました

## Japanese Translation: Microsoft は、1990 年代に登場し、テキストとイラスト化された漫画パネルを組み合わせた画期的なチャットクライアント「Comic Chat」のオープンソース版を正式に公開しました。このソフトは、ダビッド・DJ・カルランダー氏により Microsoft Research で 1995 年に構想され、Visual C++ 4.0 と MFC を用いて開発されました。同年に Internet Explorer 3 に、その後 Windows 98 にも組み込まれ、24 の言語に対応してリリースされました。「Comic Sans」フォントを最初にスピーチバブル会話の文脈で採用したことで同フォントを広めたのもこの製品です。実際のチャットセッションのトランスクリプトから、漫画家 Jim Woodring 氏が独自のビジュアル資産を作成し、システムは会話を示す手がかりを読み取り、自動的にポーズ、表情、ジェスチャー、パネルレイアウトを生成しました。これは SIGGRAPH '96 の論文で「自動イラストレーション構築の実験」として記述されています。Comic Chat は現代のリアクション、スタicker、GIF、AI 生成コンテンツ、そしてビデオが登場する以前の技術であり、それらの機能を先駆けとしたノスタルジックなアーチファクトとして機能します。オープンソースリリースの一環として、Microsoft は元々の C++/MFC コードを現在の Visual Studio ツールおよび高解像度 Windows システムで動作させるための AI による近代化試みを含めており、これらは洗練されたリイシューではなく、現代的な IRC サーバーとの互換性を示す実用サンプルとして提示されています。この取り組みはソフトウェアの歴史を保存すると同時に、開発者、歴史家、愛好家がソースコードを探索し、実験し、1990 年代の技術を基にした新たな形で創作できるよう促しています。