Figma エージェント開発：後訓練済みモデルによるデザイン編集の革新

課題背景と解決策

デザイナーは Figma を用いてアイデア探索から製品構築まで多岐にわたる業務を担っていますが、日々の作業には以下の課題があります。

• 小さく反復的なタスク：間隔調整、色変更、フィードバック後のレイアウト見直しなど。
• 検証の難易度：各変更は過去の決定の上に積み上がり、単純な修正が容易ではない。
• 目標：限定的な課題である「既存デザインへの編集支援」に焦点を当て、デザイナーの業務効率を最大化するエージェントを開発。

プロンプトと出力の例：

• 入力（プロンプト）：写真の左上に「場所タグ」コンポーネントを挿入
• 結果（出力）：要求された場所タグが正しく挿入され、境界内に収まっており、周辺コンテンツは維持されている。

重要なインサイト：デザイナーは一日に何度も変更を行うため、スピードが重要です。編集に時間がかかりすぎると、支援すべきワークフローそのものを中断してしまいます。

Figma 構文の習得とトレーニング戦略

当初、最先端モデル（LLM）は Figma の構文を理解できず、システムプロンプティングによるトークン消費量増大が予想されました。そこで以下の方針を採りました。

有監督微調整（SFT: Supervised Fine-Tuning）への投資

• トレーニングデータの構成：
  • 開始時点のデザイン
  • 合成された編集リクエスト
  • 変更が成功した結果
  • これらをペアリングして学習データを作成。
• 学習目標：
  • デザインを Figma ネイティブ形式で表現し、キャンバスへの反映を可能にする変更を生成する能力を養う。
  • デザインシステム資産（テーマ、コンポーネント）の変更を含むタスクも学習させる。

生成パイプラインと検証

• 多段階検証：大規模「教師モデル」による試行、確定的バリデーター、視覚的モデル判定器による候補検証を実施。
  • 出力の有効性とリクエストの充足状況を確認。
• 自己修復機能：評価フィードバックに基づき、パイプラインは自動的に再編集・改善を行う設計。

モデル性能の成果

• 初期結果：25 万例以上のトレーニングデータを用いた Llama 3.3 70B モデル でも、当時トップクラスのエージェントモデルと遜色ない実績を達成。
• ベースモデルの進化：その後、より高性能なモデルへ移行（Qwen モデル、Muse Spark Open、Inkling など）。

トレーニング手法の深化：強化学習（RL）への展開

SFT 単体には限界があり、特に「汎化能力」や「サンプル効率」に課題が認められました。

• SFT の制約：
  • 模倣学習により類似出力を習得できるが、汎化能力の低下という代償を伴う。
  • サンプル効率が低く、多様な例で大量の訓練が必要。
• 強化学習（RL: Reinforcement Learning）への移行：
  • 最新のトレーニングレシピとして RL を採用。
  • 開発重点：設計ドメイン向けに最適化された RL 環境の構築。
  • 改善点：トレーニング例の多様性拡大、報酬モデルの洗練、専門家が作成した評価基準（デザイナーが重視する事項）の反映。

デザイン編集の評価方法と品質担保

モデルに適当な出発点か判断するため、内部評価（evals）を実行しています。単に指示に従うだけでなく、スピードとコストも計測対象です。

• 客観的品質基準の設定：
  • デザインは主観的ですが、測定可能な指標として扱います。
  • 整合性はあるが対比不足、磨きがかっているが要件外、見た目適切だがコンポーネント不適切といった問題を検出。

典型エラーの検知

AI 生成デザインの以下のエラーを個別に評価しています。

• アイコンとテキストの重なり
• 矢印のカットオフ（クリップ）
• テキスト要素間の重なり

検証プロセス：

1. デザイン構造に関するチェックと視覚的判定器の結果を組み合わせた自動評価。
2. 専門デザイナーによる較正・レビュー。
3. モデルの成功領域と学習すべき課題を把握。

比較結果（事例）

以下のスコアは、内部 Figma 編集評価にて得たものです（製品採用検討時の複数指標の一つ）。

モデルタイプ	特徴
Figma 編集専用モデル (Qwen 3.8 27B で後訓練)	自社開発・後訓練済み 設計編集タスクに特化
他社製の第三者モデル	業界最高峰の汎用モデル

注釈：比較対象は最新の未発表バージョンです。

Figma エージェントにおける位置づけと実装

先月末、Figma エージェントを全ユーザーへロールアウトし、第一党の編集専用モデルを導入しました。

• ハイブリッドアプローチ：
  • 画像生成・ベクター作成・新デザイン探索など特定のタスク → 業界最高峰の第三者モデルを採用。
  • 正確な編集・反復処理など得意分野 → 自社の後訓練済みモデルを使用。
• コンテキスト利用：
  • エージェントはキャンバス情報、デザインシステム、および変更実行ツールから文脈を取得。
  • 後訓練により、役割をより適切に遂行する能力が向上。

メトリクスによる成果とユーザーへのインパクト

ベータ版から一般利用への移行期間中に顕著な改善が見られています。

• 業務速度：典型的なタスクが約 20% 高速化。
• 性能比較（頭脳対決）：新エージェント vs 既存プロダクションエージェントで、上回ったり同等に機能したりする割合は 62%。
• ユーザー満足度：評価が 33% 向上。
• 手戻り削減：アンアンド（やり直し）頻度が 60% 減少。
• コスト削減：メッセージあたりの平均コストを削減。
• 採用拡大：自社モデル駆動の業務シェアが、2 倍近くに拡大。

これらの成果は、モデル、ツール、およびハネス（統合環境）全体の改善によるものです。編集モデルは進展の一部に過ぎませんが、デザイナーが最も頻繁に行うタスクの効率化を実現しています。

今後の方向性

今回の取り組みにより、後訓練済みモデルが Figma 編集のような専門化されたタスクにおいて最先端モデルと競争能力を有することが実証されました。

• ユーザー還元：限定的な課題から着手し、進歩を実際の製品アップデートとして提供。
  • 個々の編集管理に費やす時間を削減。
  • その分、自身のビジョン実現や創造的活動に時間を割けるように支援。
• オープンソースへの拡張意欲：
  • デザインや非検証可能ドメインにおける後訓練モデルに興味のある方へ。
  • 採用活動中。
  • プライバシーと意向を尊重したトレーニング手法を採用しており、詳細は以下のページで学べる。