AIブラウザは詐欺に引っかかる?ChatGPT Atlasなど新世代AIエージェントの脆弱性

サイバーセキュリティの話題では、ハッカーが人間をだます場面を想像しがちです。しかし、クリックしているのがAIだったらどうなるのでしょうか?

ChatGPT Atlas、Opera Neon、Perplexity Comet、The Browser CompanyのDiaといった新世代AIブラウザは、「あなたに代わってウェブを閲覧する」ことを約束します。サイトを読み、リンクをたどり、フォームに入力し、さらには購入までこなせるのです。未来を感じさせる魅力的な技術ですが、一つ気になる点があります。人間が詐欺に引っかかるのだとしたら、自動化されたAIエージェントが同じ罠にかからない保証はどこにあるのでしょうか?

AIブラウザとAIエージェントはなぜ詐欺に引っかかるのか

テスト結果はどのAIブラウザも厳しいものに

OpenAIのAtlasブラウザは長い時間をかけて開発され、大きな注目を集めて登場しました。しかし、研究者たちがすぐにセキュリティ検証に取り掛かったところ、OpenAIがセキュリティをどれほど真剣に考えているかが明らかになりました。

結果は決して有望なものではありませんでした。セキュリティ企業LayerXは、Atlasの公開から数日以内に2つの重大な問題を発見したのです。

1つ目はプロンプトインジェクションに関する脆弱性で、ChatGPTのメモリ機能に悪意のある命令を注入できるというものでした。この命令によってリモートコードの実行が可能になり、極めて危険な状態を生み出します。さらにLayerXの調査によると、Atlasは遭遇した悪意あるウェブページのうち、わずか5.8%しかブロックできませんでした。つまり、90%以上の場合、フィッシングページとやり取りを続けてしまうということです。

画像クレジット:LayerX

公平を期すために言えば、OpenAIだけが悪いわけではありません。LayerXのテストでは、エージェント型AI機能を持つ他のAIブラウザも同様に低い成績でした。Perplexityの人気ブラウザCometは、フィッシングページの7%しか阻止できなかったのです。

一方で比較対象となったEdge、Chrome、Diaは、それぞれ53%、47%、46%の攻撃を拒否しており、大きく上回る結果となりました。

「Scamlexity」研究が明かした現実

セキュリティ調査会社Guardioも同様の問題を発見していました(これはChatGPT Atlasの登場前の話です)。同社の「Scamlexity」という名の研究は、エージェント型AIブラウザをテストするもので、「彼らはクリックし、支払いをし、そして失敗した」という印象的なキャッチフレーズが添えられています。

Guardioは「PromptFix」と呼ばれる攻撃手法を開発しました。「ClickFix詐欺のAI時代版」と位置づけられたこの手法は、偽のCAPTCHA画面の中にプロンプトインジェクション攻撃を隠すものです。見えないテキストを偽CAPTCHAに埋め込むことで、自動閲覧モードのAIエージェントは、商品購入やファイルダウンロードなどを簡単に騙されて実行してしまうのです。

また、受信メールの処理を依頼されたPerplexityのCometにフィッシングメールを見せたところ、Cometは即座に対応を開始し、ユーザー情報を偽ページに入力。さらにはユーザーに対して認証情報の入力を促し、「このページは安全です」とまで宣言しました。

自動運転モードのAIブラウザは危険なものをクリックする

人間には見えない詐欺にもAIエージェントは引っかかる

最大の問題は、AIブラウザやエージェント型AIによる閲覧が、私たちを普段の注意から遠ざけることです。自動システムに判断を委ねると、詐欺を警告する重要なサインを見逃す可能性があります。しかも、AIモデル自身はそれを理解できないのです。

現時点でこうした攻撃の多くはセキュリティラボ内での実験にとどまっていますが、脅威は現実的で急速に拡大しています。AIブラウザは単にサイトを表示するだけでなく、ログイン情報を扱い、Cookieを保存し、接続されたアカウントへのアクセス権を保持することもあります。悪用の可能性は非常に高く、攻撃者たちが積極的に狙っているのは明らかです。

一般ユーザーにとって厄介なのは、画面を注意深く見ていても検知できない種類の詐欺だという点です。こうした隠密型のプロンプトインジェクション攻撃は通常、視界に入らない場所に悪意ある命令を埋め込みます。被害に気づくのは、詐欺が完了した後になってからなのです。

従来のブラウザには、何かおかしいときに警告やポップアップで知らせる仕組みがありますが、自動的に閲覧するAIエージェントは、これを単なる「乗り越えるべき課題」と捉えてしまうかもしれません。

解決策はひとつだけ

従来のセキュリティツールは必ずしも有効ではない

現代のセキュリティ問題には現代的な解決策が必要です。自動エージェント型閲覧を行うAIブラウザがもたらす問題には、新しい対策が求められます。Google Safe Browsingやアンチウイルスツールといった従来の防御手段は、「あなたの代わりにAIがリンクをクリックする」状況を想定して設計されていないからです。確かに追い上げてはいますが、まだ未知の領域と言えます。

例えば、研究者たちがAIブラウザと標準的なブラウザを比較したところ、その差は歴然としていました。GoogleのSafe Browsingは既知の悪質なURLをブロックできますが、詐欺師が新しく取得したドメイン——「wellsfargo.com」ではなく「wellzfargo-security.com」——を使うと、AIエージェントは平気でクリックしてしまうのです。ドメイン名を疑うことなく、ページが銀行のログイン画面に見えれば、忠実に処理を続けます。

さらに悪いことに、プロンプトインジェクション攻撃はURLに依存しません。正規のページやPDFの中に潜み、従来のスキャンツールからは見えないのです。

現時点で唯一の現実的な解決策は、人間による監督です。ブラウザの完全自動化という魔法のような感覚は損なわれますが、実際には、ブラウザがフィッシング詐欺に引っかからないようにするための重要なステップなのです。

OperaのNeonのようなAIブラウザは、定期的に停止して人間の入力を求めます。次のステップが問題ないか、これまでの作業が許容範囲かを確認するのです。こうした小さな人間とのやり取りこそが、エージェント型AIブラウザが詐欺に引っかかったり、マルウェアをダウンロードしたりする問題を緩和する助けになります。

詐欺師にとっての新時代

全く新しい詐欺の舞台が広がる

AIブラウザは、「詐欺師が誰を騙すべきか」という構図を変えました。ターゲットはもはやあなた自身ではなく、あなたのエージェントです。そして今のところ、そのエージェントは信じられないほど無防備なのです。

上述の研究で、これらのシステムが90%以上のフィッシングページに引っかかり、人間なら数秒で気づくソーシャルエンジニアリングの手掛かりをほぼすべて見逃していたことが分かっています。人間こそが弱点であることが多いとはいえ、人間による監督が絶対に不可欠であることは明白です。