本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

プロンプトインジェクションの対策は?AIにメールやWebを読ませるときの権限と確認の決め方

AIにメールの整理やWebの調べものを任せるとき、接続の画面で「許可」を押すたびに、どこまで操作を任せてよいのか気になっている人もいるのではないだろうか――。

この記事では、メールやWebに紛れ込んだ指示にAIが従うプロンプトインジェクションの例を紹介した上で、AIに渡す権限と利用者が確認する操作の分け方を整理する。また、主要な4つのAIサービスの設定も比較する。

メールやWebに紛れ込むAIへの指示

AIは、読み込んだメールやWebページの中の文章を利用者からの指示と取り違えることがある。英国の国家サイバーセキュリティセンター(NCSC)はブログで、AIは仕組みの上で指示とデータを区別しておらず、ツールを利用できるAIでは被害がツールを攻撃者に直接渡した場合の最悪の事態にまで及ぶと説明している。

OpenAI は2025年12月、自社の自動テストのプログラムが見つけた手口を実演で公開した。実演では、攻撃者が指示を仕込んだメールを受信箱に送った。利用者が不在の返信の下書きを頼むと、AIエージェントはこのメールを読み、CEO宛ての退職の文面を送った。実演の対象だった同社のブラウザ ChatGPT Atlas は現在、提供を終えている。

Web上では、プロンプトインジェクションがすでに観測されている

セキュリティ企業 Palo Alto Networks の調査部門 Unit 42 は2026年3月、Web上で観測した間接的なプロンプトインジェクションを報告した。観測データの内訳では、目に見える普通の文字で指示を書き込む方法が37.8%で最も多かった。

また、Google はセキュリティのブログで、主要なSNSの多くを含まない、英語圏の公開Webのアーカイブ(Common Crawl)を調べた結果を報告した。悪意があると分類した検出は2025年11月から2026年2月に相対で32%増えたものの、手口の洗練度は低かった。Google は今後、Web上で試みられるプロンプトインジェクションの規模も巧妙さも増すと見ている。

プロンプトインジェクションの完全な防御策は未確立

セキュリティの国際団体 OWASP は、AIアプリの開発者向けの指針 LLM Top 10 の2026年版で、プロンプトインジェクションを確実に防ぐ仕組みは今のところないとしている。独立行政法人情報処理推進機構(IPA)も解説書で、AIの側で不正な指示を見分ける技術的な対策で、完璧なものは知られていないと説明する。

さらに、Anthropic、Google DeepMind、OpenAI などの研究者は論文で、攻撃の方法を防御に合わせて調整すると、有害な回答を引き出す攻撃(ジェイルブレイク)やプロンプトインジェクションを防ぐ最近の12の手法を突破することができ、その大半で攻撃の成功率が90%を超えたと報告した。

OpenAI や NCSC は、攻撃を見分けることだけに頼らず、攻撃が成功しても影響が限られるようにする設計の考え方を示している。

プロンプトインジェクションの被害の規模を左右するAIの操作権限

プロンプトインジェクションの深刻さは、AIが置かれた業務の文脈と権限によって変わる。OWASP は、信頼できない入力、機密データ、状態の変更や外部との通信の3つを同時に持つAIを高リスクとして扱うよう求めている。

AIに渡す権限の段階ごとに、AIが紛れ込んだ指示に従ったときの影響の例を挙げる。

権限の段階 AIの作業範囲 紛れ込んだ指示に従ったときの影響の例
読むだけ メールや資料の要約、Webの調べもの 要約や回答に、紛れ込んだ指示の内容が反映される。AIがリンクをたどれる場合は、読んだ情報が外部へ流出するおそれもある
下書きまで 返信や資料の下書き 下書きに不審な内容が含まれるが、送信前に利用者が下書きを読めば気づく機会がある
送信・更新 メールの送信、ファイルの編集、共有設定の変更 情報が外部へ送られる、共有範囲が変わる
購入・削除 支払い、予約の確定、データの完全な削除 金銭の損失や、取り消せない変更につながる

OpenAI は、AIがアクセスできる機密データや認証情報をできる限り作業に必要なものだけに絞るよう勧めている。

加えて、AIへの指示の出し方によって攻撃の成功しやすさも変わる。OpenAI は「メールを確認して必要な対応をして」のような範囲の広い指示を避け、AIに頼む作業を具体的に絞るよう勧めている。

AIによる送信や削除など、取り消せない操作は利用者が確認

OWASP の指針は、権限が必要な操作、取り消せない操作、外部に見える操作の前に、利用者が明示的に確認するよう開発者に求めている。

AIサービス各社が確認の対象に挙げる操作をもとに、AIに任せる操作と利用者が確認する操作を作業ごとに分けた。

作業 AIに任せる操作の例 利用者が確認する操作の例
メール 検索、要約、返信の下書き 送信、転送、削除
Webの調べもの 公開ページの閲覧、比較表の作成 ログインが必要なサイトの利用、フォームの送信
社内の資料 検索、要約、たたき台の作成 編集の確定、削除、共有設定の変更
予約・購入 候補の検索、条件の比較 予約の確定、支払い

さらに、OWASP は、確認者には要約ではなく実際に実行される操作の内容を示すよう求め、確認の求めが多いと中身を見ずに許可する承認疲れで判断が鈍るとも指摘している。

主要AIサービスで、AIに渡す権限と操作前に確認を求める設定

主要な4つのAIサービスについて、権限と確認の設定を挙げる。

サービス 読み取りと操作の権限 操作の前の確認 接続の解除やサイトの制限 ログイン中のサイトの扱い
ChatGPT アプリの権限を、毎回確認(Always ask)、読み取りは確認なし(Allow read actions)などから選択できる。アプリによっては確認なし(Allow all actions)もある。管理された環境では管理者の方針に従う cloud browser は、予約や支払いなど取り消しにくい操作の前に利用者へ確認を求めるよう設計されている Settings の Apps か Plugins で切断する。cloud browser ではサイトごとにアクセスを許可またはブロックできる cloud browser は手元のログインを使わない。cloud browser 内でログインした状態は、期限まで次の作業に引き継がれる
Gemini タスク機能に操作とブラウザの許可の設定があり、Always allow も選択できる タスク機能は、送信、変更や削除、購入、フォームの送信などの前に利用者へ確認を求めるよう設計されている Connected Apps の設定で切断する。Chrome の設定で auto browse をオフにできる タスク機能が手元の Chrome(auto browse)を使うときは、ログイン中のサイトにもアクセスできる
Copilot Microsoft 365 Copilot の連携コネクタは読み取りを常に許可し、書き込みには既定で利用者の承認を求める。ツールごとに Always allow も選択できる Edge の Browse with Copilot は、購入、予約、メール送信、予定の削除などで利用者に注意を求める Microsoft 365 Copilot の書き込みの許可は Settings の Sources で見直す。Edge の設定で、Copilot にアクセスさせないサイトを指定できる Browse with Copilot は、利用者がログインしているサイトでは自動でログインした状態になる。避けるには cookie を削除するか、新しいプロファイルを使う
Claude Team・Enterprise のオーナーは、コネクタの操作を Always allow、Needs approval、Blocked から選び、読み取りのみにも制限できる Claude in Chrome の Manual は、Cowork のサイドパネルでは操作ごとに利用者へ確認を求め、従来のサイドパネルでは計画の承認後はその範囲で操作を進める。Cowork のサイドパネルの既定の Auto では、Claude が自ら安全を確かめ、必要なときに利用者に尋ねる。Skip では利用者に尋ねず、Claude が自ら安全を確かめることもしない。モードを問わず、購入は禁止され、完全な削除には利用者の明示の許可が必要 Connectors で切断する。Claude in Chrome の拡張機能の設定で、サイトごとの許可を取り消すことができる Cowork のサイドパネルは、開いているページがログイン後のものでも閲覧できる。Anthropic は機微なサイトや機微なデータのある職場アカウントで Claude in Chrome を使わないよう勧め、機微なアカウントのない別のブラウザプロファイルを使うことも勧めている

※2026年11月時点。ChatGPT の cloud browser は ChatGPT Work の機能で、Go を除く有料プランの対応地域向け。Gemini のタスク機能は個人アカウントの有料プラン向けで、Chrome の auto browse は米国の個人の有料プランに順次提供。Edge の Browse with Copilot は、個人向けは米国の Microsoft 365 Premium から、職場向けは限定プレビュー。Claude in Chrome は有料プラン向け。

なお、機密性の高いデータを扱う人向けには、ChatGPT に対象のアカウントで利用できる Lockdown Mode がある。データの持ち出しのリスクを下げる機能だが、紛れ込んだ指示が回答に影響することまでは防ぐものではなく、OpenAI は持ち出しが起きないことも保証していない。

確認なしでAIを動作させる設定について、OpenAI は高いリスクを伴うと説明し、Anthropic は作業に関わる操作やファイルなどをすべて完全に信頼できる場合に限って Claude in Chrome の Skip を使うよう案内している。

AIを実際のシステムやデータにつなぐ前に、チームで決めるルール

NCSC は各国の機関との共同の指針を紹介した記事で、エージェントを実際のシステムやデータに接続する前に、エージェントの所有者、アクセスの承認者、動作を監視する人、エージェントを停止できる人などを決めるよう求めている。

米サイバーセキュリティ・インフラセキュリティ庁(CISA)は共同の指針の発表で、エージェントに広い権限を渡さずに、リスクが低く機密でない用途から利用を始めるよう勧めている。NCSC と CISA の案内をもとに、接続の前にチームで決める項目を挙げる。

取り決め事項 例
接続してよいサービス 会社が認めたAIサービスと、接続先のメールやファイル
AIに読ませる情報の範囲 公開情報、部署の資料、個人情報や機密情報の扱い
操作の権限 読むだけで始める作業と、AIに送信や更新を認める作業
担当者 接続を承認する人、AIの動作を監視して不審な点を確かめる人、AIの利用を停止できる人

Anthropic はコネクタのヘルプで、サービスを接続すると Claude がアカウントの権限に応じてそのサービスのデータにアクセスし、変更もできるようになると説明している。そのうえで、信頼できて作業に必要なサービスだけを接続するよう案内している。

なお、会社が認めていないAIサービスを使うリスクはシャドーAIのコラムで扱っている。

プロンプトインジェクションの対策の中心は、AIが紛れ込んだ指示に従っても影響が小さく収まるよう権限を絞ることだ。AIにメールやWebを読ませる作業は読むだけや下書きまでの権限で始め、送信や削除、支払いのような取り消せない操作は利用者が内容を見て確かめる。実際のシステムにAIをつなぐ前に、接続してよいサービスと、接続を承認する人、動作を監視する人、利用を停止できる人をチームで決める。

【参照元】