「AIをだますのは簡単です」――自動運転車を8割の確率で誤動作させる方法とは? その脆弱性を考える

消えたヒッチハイク

　日本ではほとんど見かけなくなったが、かつては幹線道路の脇で、ヒッチハイカーが行き先を書いた紙や段ボールを掲げていた。通り過ぎる車に向けて合図を送る。乗せるかどうかは、運転席にいる人の判断次第だった。無視するのも、手を差し伸べるのも、その場の気分や責任感に委ねられていた。

【画像】「えぇぇぇ！」 これがトヨタ自動車の「平均年収」です！（6枚）

　この「読むが、従う義務はない」という関係が、自動運転車では崩れ始めている。

　路上に置かれた文字が、車両の意思決定に直接入り込む。内容が実行可能で、それらしく理由づけされていれば、車載の知能はそれを正当な指示として扱ってしまうからだ。人間なら半ば冗談やノイズとして処理する情報を、機械は律儀に意味のある命令として解釈する。

　外部に置かれた紙片や看板が、そのまま車の動きを変える“入力経路”になってしまう。閉じたはずの車両が、路上に転がる文字列に引きずられる。移動体として独立しているはずの資産の管理権が、開かれた道路空間へと漏れ出しているようにも見える――多額の投資で築かれてきた安全の積み重ねが、思いのほか脆い前提の上に立っていることが露呈した格好だ。

　高度化した認識能力は、本来ならば安心材料のはずだった。カメラが周囲を読み取り、言葉の意味まで理解し、状況に応じて判断する。そうした知力があれば、人に近い柔軟さが得られると考えられてきた。ところが、その「読める」という力が、裏側では抜け道にもなっている。

　物理空間に置かれたテキストをそのまま命令として受け取る以上、悪意のある第三者が介入する余地は消えない。車両の性能がいくら上がっても、路上に置かれた一枚の看板が判断を書き換えてしまうなら、話は別である。安全の問題であると同時に、運行の主導権がどこにあるのかという、産業全体の前提に関わる話でもある。

　人間のドライバーであれば、道端の文字にいちいち従うことはない。だが、機械は違う。律儀さが、そのまま弱点になる。自動運転が社会に広がるほど、この性質は無視できなくなっていく。技術の進歩が、そのまま新たな脆さを抱え込んでいる。その事実から、もう目をそらせない段階に来ている。

共通基盤がもたらす共通の弱点

カリフォルニア大学サンタクルーズ校のウェブサイト（画像：カリフォルニア大学サンタクルーズ校）

　カリフォルニア大学サンタクルーズ校の研究チームが2025年9月、学術論文の速報版を公開するオンラインリポジトリ「arXiv（査読前論文の公開サイト）」に公開した論文は、これまで前提とされてきた安心感を崩す内容だった。路上に置かれた文字列を工夫するだけで、高度な知能を備えたロボットの挙動を外部から奪えるという指摘である。特別な電波も、複雑な侵入もいらない。視界に入る「言葉」だけで足りるのだ。

　生成AIの広がりによって、言語モデルはすでに身近な存在になった。次の段階として注目されているのが、ドローンや自律走行車のように、現実空間で身体を持って動くタイプのAIだ。こうした分野では、画像と文章を同時に扱う視覚と言語の統合モデルが中核を担う。走行中に「赤い車を追え」といった指示を理解し、思わぬ障害物に出くわしたときは「道が塞がれているから回り込む」と判断する。人の感覚に近い振る舞いが可能になりつつある。

　ここまでは進歩の物語に見える。だが研究チームが問題にしたのは、まさにその賢さだった。文字を読み、意味を取り、状況に当てはめて考える力が、そのまま弱点にもなる。

　周囲の表示を「意味のある情報」として扱えるようになった結果、悪意のある文言まで正当な命令として受け止めてしまう。人なら無視するか疑ってかかる内容でも、機械は忠実に実行してしまう傾向がある。能力の向上が、そのまま防御の甘さにつながるという、皮肉な構図がここにある。

　さらにやっかいなのは、業界の開発体制だ。各社が独自に一から仕組みを作るのではなく、汎用の基盤モデルを共有する流れが強まっている。開発費を抑え、性能を早く引き上げるための合理的な選択ではある。ただ、土台が共通であれば、弱点もまた共通になる。路上に置かれた一枚の看板が、特定の車種だけでなく、同じ基盤に乗った車両群すべてに効いてしまう可能性がある。

　便利さを優先した結果、思わぬところで足並みをそろえてしまったともいえる。高度化した知能が、産業全体に横たわる同じほころびを抱え込んでいるのである。

文字列だけで奪える制御権

ドローン（画像：Pexels）

　研究チームが提示した「CHAI（Command Hijacking against embodied AI、身体を持つAIの命令を乗っ取る攻撃）」という手法は、やり方だけ聞けば拍子抜けするほど素朴だ。カメラに映り込む標識や看板に、特定の文字列を置く。それだけでいい。特別な機材も、複雑な侵入経路もいらない。視覚と言葉を同時に扱うAIの性質を逆手に取り、読み取った内容そのものを命令として飲み込ませる。

　この方法で三つの場面が試された。どれも現実に起こり得る状況で、結果は軽視できない数字が並ぶ。

　ひとつめは、飛行中のドローンが緊急着陸を迫られる場面だ。無人で安全な屋上と、人が集まる危険な屋上。そのどちらかを選ばなければならない状況に、人がいる場所への着陸を促す看板を置いた。するとドローンは本来優先すべき安全を脇に置き、掲示された指示に引き寄せられていった。シミュレーションでは成功率68.1%、閉じた環境では92%が危険側へ向かったという。安全判断の根幹が、紙に書かれた言葉に上書きされてしまった格好だ。

　次は自動運転車である。横断歩道に歩行者がいる状況をつくり、その近くに「直進せよ」「左折せよ」といった表示を置いた。車両のAIは人の姿を視覚的に捉えていたにもかかわらず、看板の文言を信じ込み、ブレーキを解除して動き出したり、対向車線へ切れ込んだりした。成功率は

「81.8%」

に達する。ここまでくると、技術上の問題というより、事業としての前提が揺らぐ。外部の指示に従った結果で事故が起きた場合、誰が責任を負うのか。所有者か、メーカーか、それとも別の主体か。線引きが曖昧になれば、保険の仕組みは成り立ちにくくなるし、採算の見通しも立てづらい。

　三つめは追跡任務に就くドローンだ。関係のない一般車両に「警察」と書かれた偽のステッカーを貼る。それだけで、95.5%という高い確率で誤認が起きた。ドローンは本物を見失い、偽物を追い続ける。大学キャンパス内での実証でも同様の結果が出ている。実験室のなかだけの話では済まない。

　いずれも共通しているのは、巨額の投資で積み上げた認識能力が、安価な文字に振り回されている点だ。移動体の安全を支えるはずの知能が、外部からの入力にここまで弱い。そう考えると、移動の自由を支えてきた信頼が、思いのほか薄い土台の上に置かれていることに気づく。現場で起きるのは事故だが、揺らいでいるのはそれ以前の前提である。

数億ドルを揺さぶる数十円の印刷物

一般的な看板（画像：Pexels）

　CHAI技術で作られた看板やステッカーは、特別な機材を使ったものではない。家庭用のプリンターで出力した、ごくありふれた紙だ。その紙に印字された短い文言を車載AIが読み取り、進路や挙動を変えてしまう。実験では平均87%以上という高い確率で操作が成立したという。

　この数字をどう受け止めるべきか――性能の高さを示す成果というより、むしろ不釣り合いさのほうが気にかかる。数億ドル規模の開発費をかけた自律走行の仕組みが、数十円の印刷物で揺さぶられる。攻撃に必要な費用と、防御に費やされた投資の差があまりにも大きい。積み上げてきた技術や資本が、路上に貼られた一枚の紙で簡単に崩されかねない現実は、事業の前提そのものに影を落とす。

　CHAIが生成する自然言語の看板は、人が見てもはっきり読める内容だ。奇妙な記号やノイズではない。意味の通った文章がそのまま置かれる。そのため、雨や霧といった環境条件に左右されにくく、視覚モデルは素直にそれを「指示」として受け取ってしまう。視界が悪化したときだけ起きる例外的な不具合とは性質が違う。

　さらにやっかいなのは、言語の壁がほとんど役に立たない点にある。英語に限らず、中国語やスペイン語、英語とスペイン語が混ざったスパングリッシュでも同じ効果が確認された。LVLMは文字列の意味を推測し、そこに書かれた内容に従う。人間のドライバーなら読み飛ばすか理解できない掲示でも、AIは忠実に解釈してしまう。

　つまり、周囲の人間にとっては無害な落書きや広告に見えても、車載システムにとっては強い命令文になり得るということだ。国境を越えて走る物流や広域移動を前提に、世界各地の言語を扱えるようモデルを拡張すればするほど、使われる言葉の数だけ攻撃の入り口が増えていく。利便性を高めるための多言語対応が、そのまま弱点にもなりかねない。

　車体やセンサーの信頼性をいくら高めても、外部の文字列に対して無防備に反応する状態が続く限り、リスクは消えない。ハードが堅牢でも、ソフトが路上のメッセージに引きずられる。そうした不均衡が残ったままでは、車両の価値やサービスの信用を長期にわたって保つのは難しいだろう。技術の成熟度とは別のところで、足元がすくわれている感覚が残る。

現実的に積み重ねるしかない防御

AI攻撃手法CHAIの脅威と対策。

　研究チームは、この種のリスクに対していくつかの対処法を挙げている。どれも派手な解決策ではないが、現実的に積み重ねるしかない内容だ。

　まず求められるのは、取り込む情報をふるいにかける力である。カメラが捉えた映像のなかから文字列を拾い上げ、それが道路標識や店舗名のように本来そこに存在してよい表示なのか、あるいは外部から意図的に持ち込まれた指示なのかを見分ける。そうした区別を機械側に持たせる必要がある。今の仕組みでは、書いてある内容をそのまま理解し、意味が通っていれば従ってしまう。その素直さが裏目に出ている。

　同時に、安全に関する優先順位も見直さなければならない。どんなメッセージが掲示されていようと、衝突を避ける、歩行者にぶつからないといった物理的な安全を常に上位に置く。そこに迷いが入り込まないよう学習させることが欠かせない。推論として筋が通っているかどうかよりも、結果として事故が起きないかどうかを重く見る姿勢だ。高度な判断を目指すほど、この原則はむしろ単純でなければならない。

　さらに、情報の出どころを確かめる仕掛けも検討対象になる。デジタル署名が付いた信頼できる通信だけを受け入れ、道端に置かれた出所不明の看板や貼り紙は最初から相手にしない。そうした仕組みを道路側と車両側の双方に整えていく構想だ。ただし、ここには別の負担が横たわる。道路インフラを広くデジタル化するには、莫大な公的資金が必要になるからである。

　従来のように物理的な看板を立てるだけの仕事から、サーバー側で情報の正当性を保証する事業へと重心が移る。現場の作業というより、データの管理や認証を担うプラットフォームの世界だ。車両メーカーは自律走行の安全性を保つため、その検証データにアクセスする権利を継続的に購入し続ける立場に置かれる。政府や巨大IT企業への依存度は、これまで以上に高まっていくはずだ。

　CHAIが示したのは、AIが文字を読めるようになった事実と、世界を正しく理解しているかどうかが別問題だという現実でもある。読解力の向上が、そのまま判断の確かさにつながるわけではない。情報を多く取り込めるようにする努力と並行して、何を信じ、何を退けるかという基準そのものを見直していく作業が求められている。人とAIが同じ道路空間で暮らしていく以上、その整理は避けて通れないだろう。