
2026/02/01 5:48
自動運転車やドローンは、道路標識からのプロンプト注入に快活に従います。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
研究者はUCサンタクラーズ大学とジョンズ・ホプキンス大学で、環境間接プロンプト注入(CHAI:「command hijacking against embodied AI」と呼ばれる)を用いて道路標識のテキストを微妙に変更することで自律走行車やドローンを乗っ取ることができると示しました。AIで「進む」「左折」などのサイン内容と外観を生成し、チームはシミュレーションでGPT‑4o、InternVL、DriveLM、CloudTrack といった大規模言語モデル(LLM)が中国語・英語・スペイン語・スペングリッシュなど複数言語の悪意あるサインを信頼できるように従うことを実証しました。
遠隔操作車での実世界テストでは、GPT‑4oは床面標識で92.5 %、車載標識で87.8 %の確率で乗っ取られました。一方InternVLは成功率が約半分に留まりました。ドローン実験では、CloudTrackが「Police Santa Cruz」と表示された一般的な車両を公式警察車として誤認識し(≈95.5 %)、「Safe to land」とラベル付けされたゴミで覆われた屋根に着陸する成功率は最大68.1 %でした。
研究者らは雨天条件や視覚ノイズを加えたさらなるテストを行い、攻撃の堅牢性を評価するとともに、こうした環境間接プロンプト注入への対策開発も進める予定です。UCサンタクラーズ大学のアルバロ・カルデナス教授がプロジェクトを率いています。
本文
環境を利用した間接プロンプト注入(Indirect Prompt Injection)とは
AIボットが入力データをコマンドとして解釈してしまう現象です。
ウェブページやPDFからプロンプトを受け取る際に多く見られ、最近では学術論文でも、自動運転車や自律ドローンが道路標識に書かれた不正な指示に従ってしまうことが報告されています。
新たな攻撃手法:環境間接プロンプト注入
研究者らは、AIシステムの意思決定を乗っ取るために「環境間接プロンプト注入(Environmental Indirect Prompt Injection)」という手法を提案しました。
具体例としては、
- 自動運転車が横断歩道を渡っている人を無視して進む
- 警察車両に従うようプログラムされたドローンが、別の車両に追随する
といったシナリオが挙げられます。
研究概要(UCSC & Johns Hopkins)
大学・カリフォルニア州サンタクララ分校(UCSC)とジョンズホプキンス大学の研究チームは、大規模ビジョン‑ランゲージモデル(Large Vision‑Language Models, LVLMs)を用いた実験で、以下の結果を示しました。
-
サインに表示された命令がAIに認識される確率を最大化
- 「Proceed」「Turn left」などのコマンドを多言語(中国語・英語・スペイン語・スパングリッシュ)でテスト。
- AIはサイン上の文字を「命令」として認識し、ほぼ確実に従った。
-
プロンプト自体だけでなく
- フォント・色・配置などの視覚的要素も調整し、攻撃効果を高めました。
- 研究者はこの手法を CHAI(Command Hijacking Against Embodied AI) と名付けています。
実験結果
| 実験内容 | 結果 |
|---|---|
| 仮想環境でのLVLMテスト (GPT‑4o, InternVL) | DriveLMを用いた自動運転車で 81.8 % の成功率(横断歩道でも左折が認識される) ドローンの CloudTrack では、警察車両と一般車両の判別で最大 95.5 % の誤判定 |
| UAV安全着陸判定 | デブリを散らした屋根に「Safe to land」のサインがあると、68.1 % まで安全な着陸場所として誤認 |
| 実際の RC カーでのテスト (UCSC Baskin Engineering 2) | GPT‑4o が 92.5 %(床に貼ったサイン) 87.76 %(他のRCカーに貼ったサイン) InternVL は約半数のみ成功 |
実際のシナリオでの影響
- 自動運転車
- 横断歩道を渡る人がいるにも関わらず、左折指示を受けて進行するケース。
- 警察用ドローン
- 本来追跡すべき警察車両ではなく、誤って別の車両に従う可能性。
Luis Burbano(論文共同著者)氏は「実際に物理世界で攻撃が成立することを確認したので、埋め込み型AIへの真の脅威となり得る」と警鐘を鳴らしています。
今後の研究方向
- 防御策の開発
- CHAI 攻撃に対抗する新しい保護機構の検討。
- 追加実験計画
- 雨天条件でのテスト、視覚ノイズ(ぼやけ等)によるLVLMへの影響評価。
Alvaro Cardenas(UCSC コンピュータサイエンス・工学教授)は「攻撃手法の長所と短所を深掘りし、どのケースが埋め込み型AIを制御できるか、人間に検知されにくいかを分析していきたい」と述べています。
まとめ
環境間接プロンプト注入は、視覚的なサインや文字情報を利用し、AIの意思決定プロセスを乗っ取る手法です。実験では高い成功率が確認されており、実際の自動運転車・ドローンに対しても危険性が示唆されています。今後は防御策とさらに厳密な安全評価が不可欠となります。