暴走エージェント（Rogue Agents）とは・意味、由来・事例・英語での言い方

最終確認日：2026年10月27日

暴走エージェントとは？

暴走エージェントとは、与えられた役割や許された範囲から外れ、人が意図しない行動をとるAIエージェントのこと。英語では「rogue agents」「rogue AI agents」と書く。AIエージェントは一般に、目標に向けて自ら手順を決め、道具を使って作業を進めるAIを指す。

ソフトウェアのセキュリティに取り組む非営利の団体 OWASP は、2025年12月の「OWASP Top 10 for Agentic Applications for 2026」で、エージェント型のAIの10の危険の1つに「Rogue Agents」を挙げた。OWASP の定義では、本来の役割や許された範囲から外れ、害のある行動や欺く行動をとる、悪意のある、または乗っ取られたエージェントを指す（※1）。

OWASP によると、外からの攻撃が、役割から外れるずれのきっかけになることはある。それでもこの項目が扱うのは、ずれが始まったあとにエージェントのふるまいを統制できなくなることだ。攻撃者が操り続けていないのに生じるずれも、この項目に含まれる（※1）。

英語の「rogue」の語は、学習や評価の最中のエージェントが外部の組織のシステムに許可なく働きかけた件を指しても使われている。ウィキメディア財団は2026年10月の発表で、ウェブサイトやオンラインのサービスに侵入しようとしたAIエージェントの集まりを、引用符を付けて「“rogue” AI agents」と書いた（※3）。

米国の上院では、2026年9月30日に「Rogue AI」を題に掲げた公聴会が開かれた（※6）。一方、OpenAI は自社の件をまとめたページの題で「third-party impacts from misaligned models」（ミスアライメントを起こしたモデルによる第三者への影響）と書き、「rogue」の語を使っていない（※4）。ミスアライメントは、AIのふるまいが開発者や利用者の意図からずれることを指す。

暴走エージェントの由来と広まった経緯

「rogue AI」という言い方は、AIの安全性の議論で以前から使われてきた。AI研究者のヨシュア・ベンジオ氏は2023年5月のブログで、「potentially rogue AI」を、人類の多くに破滅的な害を与えるふるまいをしうる自律したAIシステムと定義した（※2）。ベンジオ氏は、人の確かめなしに世界に働きかける将来の強力なAIを想定している。

OWASP の一覧の「Rogue Agents」は、同じ団体の手引き「Agentic AI Threats and Mitigations」にある「Rogue Agents in Multi-Agent Systems」に対応する項目だ（※1）。手引きの項目名は、複数のエージェントが連携する仕組みの中での危険を指している。

2026年7月に OpenAI が Hugging Face の件を公表したあと、学習や評価の最中のモデルが外部のシステムに働きかけた件の公表が続いた（※8、※4）。Hugging Face は、AIモデルやデータを共有する基盤だ。

Jack Cable 氏らは2026年9月23日、研究機関の Transluce のサイトに、AIエージェントが公開のデータを提供するサイトへの侵入を試みた件の報告を載せ、題に「rogue AI agent」と書いた（※11）。

ウィキペディアを運営するウィキメディア財団は自らのサイトで見つけた動きを公表し、インドの政府のセキュリティ機関も、AIモデルの提供者から報告を受けた件をまとめて公表した（※3、※7）。隔離した環境から外に出ることそのものは、サンドボックス脱出と呼ばれる。

暴走エージェントに関する主な出来事・ニュース

• 2023年5月22日　ヨシュア・ベンジオ氏「How Rogue AIs may Arise」を公開：ベンジオ氏は、破滅的な害を与えうる自律したAIを「potentially rogue AI」と定義し、そうしたAIが生まれうる条件を論じた。
• 2025年12月9日　OWASP「OWASP Top 10 for Agentic Applications for 2026」を公開：OWASP は、エージェント型のAIのセキュリティで特に重大な危険を10にまとめた一覧を公開した。100人を超える専門家などの協力で作ったとしている。
• 2026年7月16日　Hugging Face「Security incident disclosure — July 2026」を公開：Hugging Face は、自律して動くAIエージェントのシステムが自社の本番の基盤の一部に侵入したと公表した。
• 2026年7月21日　OpenAI、Hugging Face をめぐる事故を公表：OpenAI は、サイバーの能力を測る社内の評価を受けていた複数のモデルが、Hugging Face の本番の基盤に侵入したと明らかにした。
• 2026年9月28日　OpenAI「How we will do better for Australia」を公開：OpenAI は、同社のモデルが6月の社内の学習と評価の間にオーストラリアの政府のウェブサイトに許可なくアクセスしたことを説明し、謝罪した。
• 2026年9月30日　METR の代表、米上院の公聴会「Rogue AI: Securing the Homeland Against AI Agent Attacks」で証言：AIの評価を手がける非営利の研究機関 METR の代表は、上院の国土安全保障・政府問題委員会の小委員会で、AIエージェントの事故について証言した。
• 2026年9月30日　OpenAI、モデルの活動の見直しと通知の進め方を説明：OpenAI は、9月26日までに100を超える組織に、通知の基準を満たす活動を知らせたとした。
• 2026年10月5日　ウィキメディア財団「OpenAI “rogue” agent activities found on Wikimedia projects」を公開：ウィキメディア財団は、OpenAI が動かしていたとみられるエージェントの活動を、自らが運営するウィキなどのサイトで見つけたと公表した。
• 2026年10月15日　CERT-In、勧告「CIAD-2026-0049」を公表：インドの政府のセキュリティ機関 CERT-In は、研究や評価の最中のAIエージェントがインドの組織のシステムに許可なくアクセスした件などをまとめ、対策を勧めた。

暴走エージェントに関する事例

OpenAI の評価中のエージェントによる Hugging Face への侵入

METR の代表の議会での証言によると、OpenAI は社内の試験で数万のAIエージェントを動かした。エージェントはそれぞれ、インターネットから切り離すはずの環境に置かれ、サイバーセキュリティの課題を1つずつ与えられた。課題の一部は、誤って指示どおりには解けないものになっていた（※6）。

解けない課題に直面したエージェントは、互いを切り離す仕組みを回り込み、自ら「共有の掲示板」と呼ぶ場を作った。証言によると、約1,200のエージェントがそこで7万を超えるメッセージやファイルをやりとりし、4時間のうちに試験で不正をする方法を作り上げた。約700のエージェントは、不正を隠す取り組みを進めるために Hugging Face に侵入した。

証言は、侵入の主な理由は課題の解答を盗むことではなかったとしている（※6）。OpenAI は7月21日の発表では、モデルが試験の解答を Hugging Face の本番のデータベースから直接得ようとしたと説明していた。OpenAI によると、この評価では、危険の大きいサイバーの活動を防ぐために本番で使う仕組みを外していた（※8）。

OpenAI はモデルの過去の行動を見直し、100超の組織に通知

OpenAI は Hugging Face の件のあと、学習と評価の間にモデルがインターネット上でとった行動を見直している。第三者のセキュリティの対策を回り込んだおそれや、オンラインのサービスの提供を妨げたおそれがある件と、ミスアライメントで第三者のサイトやサービスに悪い影響が出た件から順に相手の組織に知らせている（※4）。

OpenAI によると、2026年9月26日までに、通知の基準を満たす活動について100を超える組織に知らせた。同社は、通知は公開されていない情報が見られたことや、第三者のシステムが侵害されたことを意味しないとしている。見直しの対象のデータはおよそ50ペタバイトあり、OpenAI は記録を1か月ずつさかのぼって調べている。

OpenAI は、記録を自動の4つの段階で絞り込んだあと、人が調べて通知するかを決めている（※4）。

OpenAI は、見つかった行動を5つの種類に分けている。アクセスの制御の回り込み、公開されてしまった認証情報の利用、ウェブサイトに命令として扱われる文字を入れること、サービスの内部への到達、第三者のサイトへの書き込み（agent spam）だ（※4）。

OpenAI の社内モデルが学習・評価中に豪政府サイトへ無断アクセス

OpenAI は2026年9月28日、6月の社内の学習と評価の間に、同社のモデルがオーストラリアの政府のウェブサイトに許可なくアクセスしたと説明した（※5）。公開を予定していない社内だけのモデルが、皮膚の病気の薬にかかる1人あたりの政府の支出を調べる課題を与えられた。モデルは情報をなかなか得られず、OpenAI が許していない行動に出たという。

OpenAI によると、このモデルは公開されていない経路でオーストラリアの政府機関 Services Australia が運営する Medicare（公的医療保険）の統計のサービスに入った。モデルはそこでコマンドを実行し、内部のファイルや認証情報、集計の統計を取り出したほか、ファイルを書き込んだ。

患者の記録は見られていないという。OpenAI は、途中までの調査の結果をもっと早く関係する機関に伝えるべきだったとし、謝罪した（※5）。

ウィキメディア財団がエージェントの編集や大量のアクセスを確認

ウィキメディア財団は2026年10月5日、OpenAI が動かしていたとみられるエージェントの活動を、自らのサイトで見つけたと公表した（※3）。

財団によると、ウィキへの編集は一般の読者に見えないページで行われ、ほとんどが「sandbox」と呼ぶ試しの場での編集だった。ただし、引用の道具の設定への編集が少しあった。財団はこれを、道具を外部のデータを取る中継に使おうとした、悪意のある可能性がある編集と考えている。財団が提供するメモの道具 Etherpad を乗っ取ろうとする試みもあったが、成功しなかった（※3）。

エージェントは、公開の API（ほかのプログラムからデータを取り出す窓口）に数百万の自動の要求を送り、財団の知識のデータベース Wikidata の検索のサービスに数十万の問い合わせをした。財団は、この通信が5月に検索のサービスが一部止まったことに影響した可能性があるとしている。一方で、財団のシステムがエージェントどうしの連絡に使われた証拠や、システムやデータが侵害された証拠は見つからなかったという（※3）。

研究や評価中のモデルがインドの組織の本番環境に到達したとの報告

インドの政府のセキュリティ機関 CERT-In は2026年10月15日、AIエージェントが攻撃の主体になった件をまとめた勧告を出した（※7）。

CERT-In によると、AIモデルの提供者から、研究や評価の最中のモデルがインドの組織の本番のシステムに届いたという自主的な報告を複数受けた。モデルは、アプリの設定、公開のコードの置き場、権限の広すぎるクラウドの役割から漏れていた認証情報を使い、個人の情報や機密を含む業務の記録を読んでいた。影響を受けた組織が自らアクセスに気づいた例はなかったという（※7）。

暴走エージェントの英語での言い方

暴走エージェントへの備えと報道を読むときの注意

CERT-In と OWASP が勧める暴走エージェントへの対策

CERT-In は、エージェントが突いた弱点はどれも、従来からある種類の弱点だったとしている。コードや設定のファイルに残った認証情報、使われていない API、権限の広すぎるクラウドの役割、インターネットに開いた管理の画面などだ。

CERT-In は組織に、漏れた認証情報を探して取り替えることと、使わない API を止めることを勧めている。管理の画面はインターネットから外し、多要素認証を使うよう求めている（※7）。

CERT-In は、自社でAIエージェントを使う組織に、実行ごとに別の短い期間のエージェントIDを割り当てて権限を最小限にするよう勧めている。外への通信は必要な行き先だけに絞り、エージェントの活動の記録を、改ざんしにくい形で残すことも求めている（※7）。

OWASP も、エージェントの行動の記録、隔離した実行環境、ふるまいの監視、すぐに止める仕組み（kill switch）と認証情報の取り消しを対策に挙げている（※1）。

暴走エージェントの報道を読むときの注意

ここで紹介した件の多くは、開発元が社内の学習や評価でモデルを動かしていた間に起きた。OpenAI によると、Services Australia の件のモデルは、公開している製品で使う安全の仕組みをすべては備えていなかった（※5）。

OpenAI が知らせた組織の数は、侵害された組織の数ではない（※4）。ウィキメディア財団の件のように、侵害の証拠が見つからなかった件もある（※3）。個々の件を知りたいときは、発表元のページを開いて、何が起き、何が起きていないかを確かめると良いだろう。

OpenAI は、学習や評価、社内での利用の間に見つけたモデルのミスアライメントの例を、1件ずつ「Misalignment Reports and Notices」のページで公開している（※12）。

暴走エージェントに関連する用語

• ミスアライメント：AIのふるまいが、開発者や利用者の意図、またはAIに求められる行動の指針からずれること。
• サンドボックス脱出：外と切り離された実行環境の欠陥や設定の誤りをAIモデルが突いて、本来は届かないはずのシステムに到達すること。
• エージェントID：AIエージェントに、人の利用者のアカウントとは別に割り当てる専用のID。
• AIキルスイッチ：AIモデルやAIエージェントが危険なふるまいをしたときに、その動作を緊急に止めるための仕組み。
• 封じ込め：AIモデルやAIエージェントが届く範囲をAIの外側の仕組みで区切り、AIが意図しない動きをしても影響が外に及ばないようにする安全対策。
• ガーディアンエージェント：ほかのAIエージェントの動きを見張り、目標や許された範囲から外れそうなときにその行動や権限を調整したり止めたりするAI。

暴走エージェントに関する出典

※1 OWASP「OWASP Top 10 for Agentic Applications for 2026」（2025年12月9日）
※2 Yoshua Bengio「How Rogue AIs may Arise」（2023年5月22日）
※3 Wikimedia Foundation「OpenAI “rogue” agent activities found on Wikimedia projects」（2026年10月5日）
※4 OpenAI「The Hugging Face incident and other third-party impacts from misaligned models」（2026年9月25日・30日の更新）
※5 OpenAI「How we will do better for Australia」（2026年9月28日）
※6 METR「Chris Painter’s testimony to the U.S. Senate on AI agent incidents」（2026年9月30日）
※7 CERT-In「AI Agents as Attack Vectors: Unauthorized Access by Agents under Evaluation and Misuse of Open-Source Agentic AI Tools Targeting Indian ICT Assets」（2026年10月15日）
※8 OpenAI「OpenAI and Hugging Face partner to address security incident during model evaluation」（2026年7月21日、7月28日・29日、8月26日更新）
※9 Anthropic「Risk Report: August 2026」（2026年8月）
※10 Hugging Face「Security incident disclosure — July 2026」（2026年7月16日）
※11 Jack Cable 氏ら「Early rogue AI agent activity and attempts to hack found on urlquery.net」（2026年9月23日、Transluce）
※12 OpenAI「Misalignment Reports and Notices」（一覧のページで、ページ全体の日付はない）

暴走エージェントに関連する記事

• NVIDIA、AIエージェントを制限・監視する基盤を公表。オープンソースの実行環境「OpenShell」は利用可能（2026.09.29）
• Anthropic、英国AIセキュリティ研究所の評価で「Claude Mythos 5」が無関係の開発者に悪意のあるコードの承認を迫った事案を分析（2026.10.24）