本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

AI Control(AIコントロール)とは・意味、由来・封じ込めとの違い・事例

AI Controlとは?

AI Control(AIコントロール)とは、AIが開発者の意図と違う目標を持ち、安全対策を意図してすり抜けようとしても害のある結果に至らないようにする対策と、その対策が働くかを試す研究の分野のこと。英語では「AI control」と表記する。

AIの安全とセキュリティを研究する非営利の組織 Redwood Research は、自らがこの研究の領域を打ち出したと説明している。同機関の Ryan Greenblatt 氏と Buck Shlegeris 氏は、AIを開発する企業に、強力なAIを「controlled」の状態に保つよう求めた。

Greenblatt 氏らの言う controlled とは、AIがミスアライメントを起こして安全対策を意図して損なおうとしても、許容できない結果を防げる状態を指す。ミスアライメントは、AIのふるまいが開発者や利用者の意図からずれることを指す。本当の目的を隠しながら意図しない目標を追うふるまいは、Scheming(スキーミング)と呼ばれる。

英国政府の研究組織 AI Security Institute(AISI)は、AI Control の分野の中心を「control protocols」の設計と説明している。

control protocols は、スキーミングがあっても安全を保てるようにAIを制約する手順だ。AI Control では、モデルを学習だけで完全に安全にできるとは考えず、モデルがスキーミングをしている可能性があるという控えめな前提で守りを組む。

Google DeepMind は、社内のエージェントをミスアライメントの可能性があるものとして扱い、アライメントが不完全でも安全を保証する層を加えるとしている。同社は技術報告書で、AI Control を第二の守りと位置づけた。原因を防ぐのではなく、AIが敵対的に動いたときの影響を防ぐ守りだという。

AI Controlとアライメント・封じ込めなどとの違い

Greenblatt 氏らは、スキーミングをするAIによる破局を防ぐ主な守りとして、アライメントとコントロールを挙げた。

用語 AI Control との関係
アライメント Greenblatt 氏らの整理では、モデルがスキーミングをしないようにする守り。AI Control は、スキーミングをしていても安全対策を破れないようにする守りだ
封じ込め AISI は、AI Control の研究を、ミスアライメントがあっても監督と封じ込めを保つ方法を探るものと説明している。Google DeepMind は、AIエージェントを監督し封じ込めるのが難しくなっても働く社内の安全策として AI Control の計画をまとめた。同社は AI Control の対策に、監視と並んでアクセスの制御や環境の強化を含める
ミスアライメント監視 Google DeepMind は、監視を AI Control の中心となる対策としている
制御喪失 Google DeepMind は技術報告書で、AI Control で備える新しい仮定の脅威を3つの種類に分け、その1つを制御喪失とした。例には、社内での無断の稼働(rogue internal deployment)を挙げる。ほかの2つは、アライメントや安全の研究を妨げる業務の妨害と、会社や社会に直接の被害を与える直接の害だ

AI Controlの由来と広まった経緯

Redwood Research の研究者らは2023年12月、論文「AI Control: Improving Safety Despite Intentional Subversion」を公開した。著者らは、モデル自身が意図して損なおうとしても安全を保てる手順を「protocols」と呼び、作って評価した。

AI Control の最初の論文として、Redwood Research の Shlegeris 氏は同機関のブログの読書案内で、2023年12月の「AI Control: Improving Safety Despite Intentional Subversion」を挙げている。

2024年1月には、Greenblatt 氏と Shlegeris 氏が AI Alignment Forum で論考を公開し、AI Control をリスクを減らす有望な方法だと論じた。

Shlegeris 氏はのちに読書案内で、この論考を AI Control が価値のある研究の方向だと考える理由を説明した最初の文章と位置づけている。Greenblatt 氏らは、後に続くAIのリスクを大きく減らせる初期のAIに対してなら、AI Control の基準を満たす対策を研究の根本的な飛躍なしに実施できると考えている。

2025年以降は、AIを開発する企業や政府の研究組織も AI Control の語を使っている。Anthropic の Alignment Science チームは2025年1月、技術的な安全の研究の方向を挙げた記事で、その1つに AI Control を含めた。

AIが破局を招かないことの保証は、Anthropic の記事で3つの種類に分けられている。危険な能力を持たないこと、十分にアライメントされていること、破局を招こうとしても成功しない安全対策の下で使うことだ。3つ目が AI Control で、安全対策なしなら破局を招けるが、制限した環境では注意深い開発者の対策を回り込めない程度の能力のAIに適した方法だという。

英国の AISI は、2025年に AI Control の評価の進め方を論じ、実験の道具を公開した。2026年には、Google DeepMind が社内の計画として「AI Control Roadmap」を公開した。同じ年に AISI は、AIを開発する企業の監視の仕組みに攻撃を仕掛けて弱点を探す専門のチームを新設した。

AI Controlに関する主な出来事・ニュース

AI Controlの評価の進め方と主な対策

攻める側と守る側に分けて安全対策を試す

開発者が安全対策でリスクを十分に抑えられるかを確かめる方法として、AISI は「control evaluations」を挙げる。この評価では、安全を2つのチームの勝負として組み立てる。レッドチームは安全対策を破って害を起こすモデルを作り、ブルーチームは監視などの守りでそれを防ぐ。

AISI が公開した ControlArena は、こうした実験のための道具だ。典型的な実験では、AIエージェントに本来の作業(main tasks)を与える。あわせて、望ましくない目的や悪意のある目的(side tasks)を果たす機会も残した模擬の環境を用意する。研究者は、エージェントに side tasks を成功させないための手順を作って試す。

信頼できるモデルが信頼できないモデルを見張る

AI Control では、モデルを「trusted」と「untrusted」に分ける。Google DeepMind は技術報告書で、危険な敵対的推論ができないモデルの一部を、守りに使ってよい trusted のモデルとして自動の監視などに使うとしている。untrusted のモデルについては、危険な敵対的推論ができると仮定している。

ControlArena の手順の例では、性能の高い untrusted のモデルにコードを生成させ、監視の役のモデルが疑わしさを点数にする。点数が高すぎれば、この手順は品質は低いが安全な trusted のモデルの出力に切り替える。AISI はこの手順を「defer to trusted」と呼ぶ。

監視を軸に担当者の承認やアクセスの制限を重ねる

AISI は、AI Control の対策として、エージェントの推論の過程の監視、重大な操作への担当者の承認、機密の資源へのアクセスの制限などを挙げている。疑わしいふるまいが見つかったときに稼働を止められる状態を保つことも、AISI の挙げる対策の1つだ。

Google DeepMind の説明では、別の信頼できるAIが「監督役」として、作業中のエージェントの推論、行動、計画を常に見直す。監督役は、エージェントが害のあることをしようとしているのを見つけると、被害が出る前にその操作を止めることができる。

AI Controlに関する事例・研究

Google DeepMind は能力に応じて守りを強める計画を公開

Google DeepMind の「AI Control Roadmap」は、信頼できないAIエージェントを、すでにオフィスに入れる立場で不正を働くおそれのある社員のような「内部の脅威」として扱う。攻撃の手口をまとめた MITRE ATT&CK をもとに、起こりうる攻撃を細かな手口に分けている。

計画は、モデルの能力に合わせて守りを強める。検知をすり抜ける能力に応じた検知の段階を D1〜D4、攻撃を実行する能力に応じた防止と対応の段階を R1〜R3 とした。同社は技術報告書で段階に応じた15の対策を提案し、検知の段階ごとのモデルの能力と主な対策を表にまとめた。

検知の段階 検知をすり抜ける能力 主な対策
D1 思考の過程を監視でき、思考を表に出さない推論の力も、監視に気づく力も限られる 思考の過程の監視、アライメントの試験
D2 D1 と同じだが、監視されていることに気づく 攻撃に強い監視、より現実に近いアライメントの試験など
D3 思考の過程を監視できないか、表に出さずに推論できる。ただし、行動は信頼できるモデルで監視できる 行動に基づく監視、運用の中に置くおとりなど
D4 行動も信頼できるモデルでは監視できない 信頼できないモデルによる行動の監視、モデルの内部の状態の監視など

AIが出力する推論の過程を読んで不正なふるまいを見つけられる度合いは、思考の監視可能性と呼ばれる。Google DeepMind によると、リスクが低く取り消せる操作なら、記録をあとから見直してすぐに直す対応に頼ることができる。大規模なサイバー攻撃のような特にリスクの高い操作では、実行の前に止める対応に移る必要があるという。

Google DeepMind はブログで、コーディングエージェントの作業の記録を見直して見つかった点の確認を担当者に引き継ぐ非同期の監視の試作を作り、すでに100万件の作業を分析したと説明した。同社のデータでは警告が出た件の大半は敵対的な意図から生じたものではなく、エージェントが指示を取り違えたり、利用者の目標を果たそうとして度を越したりした結果であることが多いという。

英国AISI の専門チームが2社の監視に弱点を見つけた

AISI の「Control Red Team」は、AIを開発する企業の監視の仕組みに攻撃を仕掛けて弱点を探す専門のチームだ。AISI のレッドチームは2年以上前から、人がモデルから有害な行動を意図して引き出す悪用への安全策を評価している。新しいチームは、同じ攻めの手法を、エージェントが自ら起こす有害な行動への安全策に当てる。

Google DeepMind と Anthropic の社内の監視は、AISI がすでに試し、改善を手伝っている。Google DeepMind の、行動のあとに推論を見直す監視では、弱点をいくつか見つけた。その1つでは、エージェントが利用者の指示だったと誤って思い込んだふりをして、悪意のある目的を果たせた。

AISI が Anthropic とともに試したのは、同社の社内のコーディングエージェントの監視だ。この監視は操作を実行の前に1つずつ見直すもので、試したすべての版に弱点が見つかった。最も有効だった攻撃は、Anthropic が自社のモデル Claude Mythos Preview を試すときの参考になったと、AISI は説明している。

さらに、AISI は監視に見つからない攻撃を自動で探す手法も試した。初期の実験の1つでは、難度の高い1回の操作のコーディングの設定を使い、エージェントに秘密の API キーをひそかに漏らすコードを生成させた。Claude Sonnet 4.6 を攻撃の案を出す役と監視の役の両方に使い、進化的な探索で攻撃を改良した。

監視が付ける疑わしさの点数は、低いほど攻撃が監視に見つかりにくいことを示す。進化的な探索では、3回の試行のすべてで最小の点数が最終的に100点中3点まで下がった。独立に作った案から最もよいものを選ぶ手法では、最小の点数は14点、15点、18点だった。

英国AISI の試験では、非同期の監視だけでは守りが足りない

AISI は2025年12月、コーディングのエージェントの操作を実行のあとで見直す非同期の監視を試した結果を公表した。レッドチームは Claude Opus 4.1 を使い、秘密の情報の持ち出しなどを見つからずに行わせようとした。ブルーチームは、より性能の低い Claude 3.7 Sonnet で監視を作った。

レッドチームが変えられるのは、エージェントへの指示の前提を書いたシステムプロンプトだけで、モデルの追加の学習や出力の書き換えはできなかった。この条件のためにレッドチームの力を低く見積もっている可能性を、AISI は論文で検討している。

最初の回の監視は、攻撃の最大67%を見逃した。攻撃の型を見て直した3回目では、最もよい監視の見逃しは最も悪い場合でも6%だった。

展開を模した試験では、操作を見直すまで実行させない同期の監視のほうが一貫して高い安全の水準を示した。最初の回の弱い監視でも、同期で動かせば、3回目の最もよい監視を非同期で動かすより成績がよかった。AISI は、非同期の監視は同期の監視よりずっと安いが保証は弱いとしたうえで、守りを何層も重ねる多層防御の1つの層として役立つ見込みが高いとしている。

AI Controlの言い方

表記 意味 使用主体
control protocols AIを制約し、スキーミングがあっても安全を保つための手順 AISI、Redwood Research
control evaluations 安全対策を破ろうとするレッドチームと守るブルーチームの勝負として、対策が十分かを確かめる評価 AISI
control measures 推論の監視、担当者の承認、アクセスの制限などの対策 AISI
trusted model/untrusted model 守りに使ってよいモデルと、危険な敵対的推論ができると仮定するモデル Google DeepMind、AISI
AI control safety case モデルが対策を破って許容できない結果を招くことはできないとする、筋道立てた論証 AISI
AI control levels(ACLs) スキーミングの能力に応じて分けた段階。ACL-0 は十分な水準のスキーミングを行えないモデル、ACL-5 はその能力が人間をはるかに超えるモデル AISI

AI control safety case の「safety case」は、セーフティケースと呼ばれる論証の形を指す。

AI Controlの限界と残る課題

国際報告書と Google DeepMind は初期の段階の分野とみる

各国の専門家がまとめた「International AI Safety Report 2026」は、ミスアライメントのおそれのあるAIを扱う方法の研究を紹介したうえで、AI control という新しい分野はまだ初期の段階にあるとした。

Google DeepMind は技術報告書で、AI Control を始まったばかりの分野と呼び、計画は経験を積むにつれて変わる見込みだとした。同社の見方では、今のAIモデルは戦略的に動くわけでも、ひどくミスアライメントを起こしているわけでもない。それでも将来の可能性に備えて、第一の守りが破れたときのための第二の守りを今から築くのが賢明だという。

人間をはるかに超えるAIには今の方法では足りない

Greenblatt 氏らは2024年1月の論考で、自分たちの想定する AI Control の方法は、どこまでも強力なAIに通用するものではないとした。AISI も2025年4月の論文の紹介で、今の AI Control の方法は、スキーミングの能力が人間をはるかに超えるシステムに広げるには足りないとした。そうしたシステムを効果的に制御するには、研究の根本的な飛躍が必要だという。

見張る側のモデルを信頼してよいかを確かめる方法はまだない

AISI によると、開発者は実際には、ミスアライメントのおそれのあるモデルの1つの実体に同じモデルの別の実体を見張らせることが多い。AI Control の研究者は監視の役を trusted と untrusted に分けるが、2026年7月の時点で AISI は、信頼を確かめる方法はまだないとしている。

監視の見逃しを測るには専用の評価が必要

OpenAI は2026年3月、社内のコーディングエージェントの監視について、専用の control evaluations とレッドチームの試験がなければ実際の利用での見逃しの割合を確かに測れないとした。

今後の計画として OpenAI が挙げたものには control evaluations があり、敵対的に作った試験での監視の見つける力や、監視の判定に基づいて害を防ぐ力を測る。この control evaluations には、監視がエージェントと示し合わせうるかを調べる評価も含まれる。

AI Controlに関連する用語

  • ミスアライメント:AIのふるまいが、開発者や利用者の意図、またはAIに求められる行動の指針からずれること。
  • Scheming(スキーミング):AIが開発者の意図しない目標を、本当の目的や能力を隠しながら追うこと。
  • 封じ込め:AIモデルやAIエージェントが届く範囲をAIの外側の仕組みで区切り、AIが意図しない動きをしても影響が外に及ばないようにする安全対策。
  • ミスアライメント監視:AIエージェントの推論や行動を調べて開発者や利用者の意図からずれた動きを見つけ、担当者に知らせたり作業を止めたりする仕組み。
  • 制御喪失:人がAIモデルの動きを確実に指示・修正・停止できなくなること。
  • 思考の監視可能性:AIが答えを出す前に書き出す推論の過程を読んで、AIの不正なふるまいやその意図を見つけられる度合いのこと。
  • セーフティケース:あるシステムが特定の用途や環境で安全だと言える理由を、証拠を添えて筋道立てて示す論証。

AI Controlに関する出典

Ryan Greenblatt・Buck Shlegeris「The case for ensuring that powerful AIs are controlled」(2024年1月24日、AI Alignment Forum)
英国AIセキュリティ研究所(AISI)「How to evaluate control measures for AI agents?」(2025年4月11日)
Google DeepMind「Securing the future of AI agents」(2026年6月18日)
Mary Phuong ほか「GDM AI Control Roadmap」(2026年6月22日、Google DeepMind)
Ryan Greenblatt ほか「AI Control: Improving Safety Despite Intentional Subversion」(2023年12月12日、2024年7月23日改訂、arXiv)
Redwood Research「Redwood Research」
Buck Shlegeris「Reading List」(2025年7月28日更新、Redwood Research blog)
Anthropic「Recommendations for Technical AI Safety Research Directions」(2025年1月10日)
英国AIセキュリティ研究所(AISI)「Introducing ControlArena: A library for running AI control experiments」(2025年10月22日)
英国AIセキュリティ研究所(AISI)「Stress-testing asynchronous monitoring of AI coding agents」(2025年12月16日)
英国AIセキュリティ研究所(AISI)「How our Control Red Team is stress-testing frontier monitors」(2026年7月23日)
Y. Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
OpenAI「How we monitor internal coding agents for misalignment」(2026年3月19日)