Gemini 4 Argon：物理的 AGI とロボット制御の新たな地平

Gemini 4 Argon は、物理現象への理解、コード生成、および視覚的・意味論的推論において飛躍的な進化を遂げました。これにより、ロボット技術スタック全体にわたる新しいワークフローが解放され、**Physical AGI（物理的人工知能）**への進展が加速します。

• Embodied Reasoning (ERQA) ベンチマーク:
  • 3D 環境における物理的・空間的問題の理解と解決能力が評価されます。
  • 純粋な推論のみで 87% のスコアを記録し、他のすべての先端的モデルを上回っています。
• 汎用性: ロボットのライフサイクル全体（計画から実行、自己改善まで）に適用可能です。

本稿では、Argon が活用できる主要な 4 つの分野における具体的な能力とプロンプト例を解説します。

1. Argon によるロボット制御の解放

🚀 Spot マニュピュレーション：MuJoCo 練習によるごみ箱への投入

Argon は Boston Dynamics Spot®（12-DoF 脚 + 6-DoF 腕）を制御し、「ペダル踏んで缶を捨てる」という新スキルを修得します。

ワークフロー:

1. MuJoCo デジタルツイン: 実動作前に関節系ごみ箱で練習を行います。
2. 検証スワーム: 「foot-verifier」と「hand-verifier」の 2 エージェントが、ペダル踏みとハンドインの両方を確認します。

プロンプト:

「あなたの背後にダイエットコーラの缶が、左側の黒いテーブルにもう一つ置かれています。spot-mobile-manipulation スキルを使用してこれらを拾い、黒いペダル式のごみ箱へ捨ててください。ペダルを踏む前に、フロントカメラで確認し、フットターゲット（右前足）がペダルの中心にあることを保証してください。また、リリースする前に、「foot-verifier」と「hand-verifier」からなる 2 エージェントの検証スワームを使用して、ペダル踏み動作と、3D 空間におけるハンドインゴミ箱のアライメントの両方を検証してください。」

🤖 ゼロショット制御：マグカップを立て直す

単純なロボットアームを制御し、倒れたマグカップを立て直し、しわくちゃのナプキンを中に置きます。

実行情報:

• 入力:

  wrist_cam.png

  (視覚座標ハネス付き),

  obs.json

• タスク: マグカップを立てて、ナプキンを入れなさい。

実行規律 (Execution Discipline)

• 1 文の観察結果を出力後、すぐに

  curl

  コマンドを実行してください。
• ターン 1:

  # Plan:

  を使用。
• 各ターン:

  # Thought:

  を使用。

視覚座標参照系 (wrist_cam.png に注釈付き)

+X

-X

+Y

-Y

+Z

grid_z

[+]

yaw_deg

pitch_deg

クローズドループターンワークフロー

1. 状態検査:

   curl -s http://127.0.0.1:8081/obs

   で取得（

   ee_pos

   ,

   holding

   ,

   status

   など）。
2. VLM 呼び出し粒度の選択:
   • コア (2〜4 回):

     look_at

     →

     grasp

     →

     place

     →

     done

   • プリグリップホバー検証 (4〜7 回):

     goto(z=0.04)

     で挟み込み確認 →

     grasp

     →

     place_until_contact

   • ファインビジュアルサーボリング (8〜20 回): クローズドループ

     move_by

     /

     move_until_contact

     を使用。
3. 異常対応:

   status == "grasp_failed"

   の場合は、

   robot.look_at(...)

   で再観察し、回復させます。

コードとしてのポリシープリミティブ (

POST /plan

)

robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)
x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015)
robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)
robot.place(x=0.24, y=0.06, z=0.075)
robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)
robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)
robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)
robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)
robot.open_gripper() / robot.close_gripper() / robot.home() / robot.done()

🔄 オムニ制御 (Omni Control)

Gemini Omni ワールドモデル内でロボットをステアリングします。散らばった「G, R, A, N, O」のタイルを整列させ、「ARGON」とスペルするタスクです。

• アプローチ: 静的な単一プロンプトではなく、クローズドループビジュアルフィードバックの中でステアリングを行います。
• 戦略:
  • 複雑な動作を単純なアクションに分解。
  • オブジェクト移動後の空白領域を明確に述べる。

  • [MM:SS.mmm]

    形式のタイムスタンプ付きプロンプトを使用。

プロンプト例:

<omni_prompt>
[00:00.000] キャラクター A の左手は体側につけたまま、右手がターゲットオブジェクトへ伸びる。
[00:02.500] キャラクター A の右手の指先が滑らかにオブジェクトをテーブル中央へと押し込み、元の領域は空になる。
[00:05.000] キャラクター A の右手を開き体側へ引き戻し、配置された全てのオブジェクトがカメラの明確な視野范围内にあるようにする。
</omni_prompt>

2. Argon による Real2Sim（実写からシミュレーション）の解放

Argon は実ロボットデータからデジタルツインを構築し、物理的整合性を確保します。

📸 ロボット視点からシミュレーションへ

実エピソードを検査し、外見・挙動が類似するシミュレーションアセットを取得/作成します。

検証目標:

1. 視覚的一貫性: MuJoCo カメラ画像が実観測と一致すること。
2. 物理的一貫性: シミュレートされた接触力/トルクが実ログデータ（タイミング・大きさ・方向）と一致すること。

プロンプト:

[添付：robot_rollout_episode] ロボットおよび再構築されたタスクオブジェクトの MuJoCo シーンを構築してください。各エピソードをフレームごとに再生する際、関節空間 PD を用いてロジされた observation.state へロボット関節を動かします。

調整可能な点 (シミュレーション開始前まで):

• 静的なオブジェクトアセット: リアルな幾何形状・質量・摩擦を持ち、外見は実物体に近いものを使用。初期ポーズ t=0 で設定。
• オフライン計画されたコマンド: 実指先が近いフレームのみ変更し、他はログされた遠隔操作経路をそのまま再生（関節空間 PD 範囲内: arm 0.55 rad, hand 0.65 rad）。

出力: エピソードごとのインタラクティブ HTML ビューワー（同期タイムライン、3D Blender シーン、リアル対シミュカメラ比較）。

👨 ヒューマン視点からシミュレーションへ

人間によるマニュピュレーション動画（Ego-centric）を再現し、物理的に解決可能なシミュレーション環境 (

scene.xml

• タスク: 卓上タスクの忠実な再現。
• 技術:
  • 凹面コンテナを複合凸分解メッシュに置き換え、物理的インテリヤー配置を支援。
  • 人間の腕・指キーポイントを 76-DoF 二腕ヒューマノイドへ再ターゲット。
  • 500 Hzの MuJoCo マニュピュレーション環境で軌道を進化させる。

✏️ スケッチからシミュレーションへ

手描スケッチ（例：アポロ 2 ヒューマノイドがボールを投げて箱を倒す）を

mujoco_warp

ワークフロー:

1. 設定: スケッチの空間配置から 76-DoF ヒューマノイドと剛体ターゲットボックス（3-2-1 ピラミッド）を配置。
2. 合成: 50 Hz の全身投げ軌道（4 フェーズ）を合成（スタンス→ウィンドアップ→Whip アセレーション→リリース）。
3. 検証:

   mujoco_warp

   で直立バランス維持と全ターゲット倒壊を確認し、Blender Cycles レンダリングへエクスポート。

プロンプト:

[添付：hand_drawn_throw_sketch.jpg] この手描スケッチを

mujoco_warp

における物理的に検証されたヒューマノイドシミュレーションおよびレイトレース Blender Cycles ビデオへ翻訳してください...（詳細は上記「Real2Sim」のセクションを参照）

3. Argon による物理理解の解放

📋 後見ラベリングおよびデータ品質

ビデオから詳細なセグメンテーションとテキストラベリングを提供し、失敗するセグメント（不安定な把持など）を特定します。

例: ALOHA2 ロボットによる折り鶴制作動画から、以下の 4 レベルの時間整合性注釈 JSON を生成。

1. G1 (Episode Goal): 全体の目標説明。
2. G2 (Subtasks): 腕の役割分担と意味論的サブタスク。
3. G3 (Atomic Primitives): 微細な接触レベルプリミティブ（把持、折り目など）。
4. Quality Control: 進捗がないスリップを重み付け下げ（0.15x-0.25x）し、行動クローニング用に再ウェイト。

⚖️ おかしなボールを見つける (12 ボールパズル)

12 つの視覚的に同一なボールのうち、1 つが重量不規則（重い/軽い）であることを解き明かします。

環境: Franka FR3 MuJoCo、二皿ロバールバランススケール、Red/Blue トレイ。 制約: ステレオ RGB カメラと視覚のみで 3 回以内に不規則なボールを隔離。

プロンプト（ソルバー生成）:

1. ステレオビューで全オブジェクト（ボール、皿、トレイ）の 3D 座標を三角測量。
2. 各秤量後のステロ垂直ピクセルパララックス (+1/-1/0) からスケールの傾斜を読み取る。
3. グリッパーワイスヨーを回転させ、リム接触を避ける。

📈 価値関数 (Value Function)

ロボットタスクのための汎用的価値関数を生成します。

• 機能: ヘッド/グリッパーカメラフィードを反復検査し、密な価値関数（正・中性・負の進捗傾斜）を予測。
• 応用: 軌道を 28 セグメントに分解し、タスク進捗を可視化。

プロンプト:

[添付：umi_head.mp4, umi_left_gripper.mp4, umi_right_gripper.mp4] グリッパーを着用した人間の活動の 3 つのビデオを見て、タスクにおける進捗の詳細なプロット（正、中性、負の傾斜）を与え、ビデオ内の重要なセグメントを特定し、活動にラベル付けしてください。

4. Argon による研究および自己改善の解放

🔄 シミュレーションによるアクション改善

実卓上からの単一 RGB 写真から出発し、自動校准 MuJoCo ツインとクローズドループジェネレーターを合成します。

成果:

• データ収集: 4,500 件以上のドメインランダム化エピソード。
• 成功率向上: 実世界での成功確率 56% → 75%。
• 完了時間短縮: 35 秒 → 24 秒。

プロンプト:

[添付：real_tabletop_photo.jpg] 単一オーバーヘッド RGB カメラ写真から、9 つのパーティープロップの現実寸法・色に一致する 3D メッシュと MuJoCo 衝突プリミティブを再構築し... 77 タスクのカリキュラムを定義し、IK 軌道ジェネレーターを合成し、VLA 微調整用のエピソードをエクスポートしてください。

🧠 視覚ピックアンドプレイスによる自己改善

Argon は試行錯誤を通じて、アームの動作速度と配置精度を反復的に向上させます。

ステージ別アプローチ:

1. ドライラン計画: ハードウェアを使わずに、画像上で物体を見つけ、動作計画を記述・描画。
2. プリピックホバー検証: グリッパーを物体の上（接触なし）へ置き、ワイスカメラで視覚確認。
3. 自律的実行と自己改善: ドライランを実際動作に変換し、失敗時はログ解析による根本原因の発見・修正を行う。

📄 ワンプロンプトロボット論文再現 (MuJoCo WebAssembly)

Argon はロボティクス論文を単一のプロンプトで再現し、ブラウザ上で検証可能です。

処理:

1. 物理パラメータ（タイムステップ、ゲイン、リミット）を MuJoCo XML で正確に移植。

2. index.html

   (空間 UI) および

   scrollytelling.html

   (視覚エッセイ) を構築。
3. ヘッドレス Chromium で 300 フレーム以上のタスク進捗とエラーなしを実行して検証。

Argon による身体化知性の進展

Gemini 4 Argon は、コーディング、視覚的知覚、物理シミュレーション、ロボット制御をつなぐ架け橋です。

• マルチビュービデオ、3D 幾何学、接触力学、プロピオセプティブテレメトリをネイティブに推論。
• 単なる物体認識ではなく、エージェントとどのように物理的に相互作用して全身巧みタスクを遂行するかの理解を実現。

このコア知性は、複雑な課題を解決するために人間と並んで働くロボティクスを実現し、Physical AGIへの道のりを加速させます。

始め方：今日から Argon を活用しましょう

Google の開発者プラットフォーム全体で Gemini 4 Argon を構築開始可能です。

gemini-4-argon

gemini-4-argon