コードによる AI 画像生成：プロジェクト概要と技術的洞察

プロジェクトの背景と目的

AI モデルを用いた画像生成において、従来の手法ではプロンプト入力が唯一の操作手段であり、生成された画像を直接編集することはできません。変更を加えるためにはモデルに再起動し、再度プロンプトを入力する必要がありました。この制約に対し、強化学習（RL）を活用して言語モデルに対してコード生成をさせるアプローチを開発しました。

本プロジェクトが追求する点

• 編集可能性の確保：出力結果である「artifact」をコードとして定義することで、プロンプトを変更せずとも、より細粒度な出力修正が可能になります。
• 創造的タスクへの RL 適用：審美的な質のような二元論的な判定が難しいデザイン課題に対して、強化学習をどのように設計するかという根本的な問いを探求します。

技術的仕組みと構成

システムの動作フロー

システムはトレーニング期間中に数千回反復される以下の 4 ステップループで構成されています。

1. コード生成
   • モデルがプロンプト（例：「水彩画風の桃色のハイビスカスを描いて」）を受け取ります。
   • モデルは完全な

     p5.js

     ブラシスクリプトを記述します。
2. レンダリング
   • 生成されたスクリプトが沙箱化された Puppeteer 環境で実行され、PNG 画像として出力されます。
3. 評価と選定
   • 出力画像は、人手で評価したプールから無作為に抽出した 2 点の参照絵画と比較されます。
   • 別途用意した審査モデルが、どちらの水彩色が優れているかを判定し選定します。
4. 報酬信号と更新
   • 判定結果を報酬信号に変換し、GRPO アルゴリズムを用いてモデルを更新します。
   • ループが再開始されます。

設計上の重要な選択

• 評価基準の設定：「何を」「どのように」評価するか、および参照プールの構成。
• システムプロンプトの記述方法：長文のリファレンス含めるか、簡潔な許容リストに留めるか。

核心的な技術的洞察

1. 参照プール（Reference Pool）の戦略

評価基準となる画像池は全 581 点に達し、以下のカテゴリに分けられました。

• love-tier（最高評価）：117 点
• okay（普通評価）：266 点
• supplements（補完用）：198 点

このプールは、人手で評価されたサンプルが不足する色域を補うために、別回の生成ランから抽出されました。なお、これらの画像はすべて AI モデルの出力です（人類による作品がライブラリ利用者のニッチな分野では入手困難だったため）。

• 構築パイプライン：

  • AutoResearch

    パイプライン：VLM を用いて参照写真に対して反復的に学習（Opus 4.6, GPT-5.4, Gemini 3.1 Pro 使用）。

  • Gemini 3.1 Pro

    ベースのパイプライン：より大規模なバッチ処理として実行。
• システムプロンプト：両方とも GEPA を通じて進化させたプロンプトを採用。

2. システムプロンプトの進化と発見

初期には 400 行もの

p5.js

API リファレンスをプロンプトに含めていましたが、以下のような問題が発生しました。

• 問題：モデルは自信満々でコードを生成しましたが、実際には存在しない API を発明（ハルシネーション）し、信頼性が低下しました。

これを解決するため、スコアリング関数の最適化ライブラリである GEPA を使用してプロンプトを進化させました。

• 手法：味覚をアンカーとした 7-shot の審査員に対し、200 回の反復を実施。
• 収束結果：
  • 厳格な許容リスト（8 つのブラシメソッドのみ）を採用。
  • API ドキュメントや例示を一切排除した簡潔なプロンプトへ収束。
• 成果：「400 行のリファレンスを廃棄したバージョン」で初めて、3 回の生成のうち 3 回とも可視的なハイビスカスの形状が正しく描画されるようになりました。

🧠 発見：ハルシネーションと出力制御の関係

システムプロンプト内に長篇幅の API リファレンスを含めることは、モデルに API のハルシネーションを招く原因となります。

一方、短くかつ意見に基づいた許容リストの方が、元の仕様提示よりも出力制御に優れていることが証明されました。

進捗比較

バージョン	状態	特徴
v0 (起始点)	Frontier モデルレベル	API のハルシネーションが発生していました。
v4 (改良後)	GEPA を適用・API リファレンス改善後	ハルシネーション大幅減少、大胆なエッジ描写が可能に。

3. 報酬関数の再設計

トレーニングループ内の各報酬曲線の可視化には約 200 ステップを要します。評価シグナルを以下のように変更しました。

【旧方式】9 つのシグナル

• 構成要素：コンパイルチェック（冗長な 5 項目）、ブラシ使用度、長さスケーリング、HPSv3、評議員判定、認識性、審美性、技術性。
• 重量配分例：コンパイル (0%〜)、HPSv3 (10%)、審美性 (15%) など多岐にわたり複雑化。
• 問題点：5 つの審査員を用いた相関係数 $\rho$ は 0.85〜0.95 のみで、天井値（セイルング）が約 0.65 で頭打ちになる傾向がありました。

【新方式】4 つの強力なシグナル

• 構成要素：
  1. ペアワイズ比較（互換性評価）：60%（支配的）
  2. コンパイルゲート：5%
  3. 長さ：5%
  4. HPSv3：30%（低下）
• 重要な転換点：多数の弱い・冗長なシグナルを排除し、少数の強力かつ検証可能なシグナルへ集約。その中心にダイレクトなペアワイズ嗜好比較を据えました。

結論と今後の展望

強化学習における報酬の課題

• 検証可能性の必要性：数学には正誤、ゲームには勝敗がありますが、審美的な嗜好は二元論的な判定対象ではありません。
• 設計の重要性：主観的な作品に対して RL を適用するには、報酬関数を人手で作成し、慎重に設計することで汎化性能を高める必要があります。
  • 特定のケースに限界がありすぎると、モデルは評価サンプルのコピーしか学ばない。
  • 基準が緩すぎると、特定の内容すら学習しない。
• 本質：クリエイティブ分野における RL は、単なる訓練ではなく、ユーザーの嗜好へと一般化させる構造を設計するためのデザイン問題そのものです。

プロジェクトの評価と将来性

この手法は「より良い（高速な）」方法ではありません。実際には非常に遅いプロセスですが、以下の点で意義深いアプローチです。

• 現状の問題：従来の方法では画像創作への参加が「プロンプト入力」だけに限られていました。
• 本プロジェクトの価値：プロンプト、モデル、出力成果物のすべてにおいて、注力と労力を発揮して編集・修正を可能にしました。

現在は開発を継続中であり、道中で発見された諸問題を修正するためにもう一輪の最終的なトレーニングランを実施する予定です。 詳細な技術報告書は6 月 26 日に公表される予定です。