本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

用語集 更新

制御喪失（Loss of Control）とは・意味、定義の違い・由来・評価

最終確認日：2026年10月31日

制御喪失とは？

制御喪失とは、人がAIモデルの動きを確実に指示・修正・停止できなくなること。英語では「loss of control」と書き、資料によっては LoC や LOC と略す（※6、※7）。この語は、高い能力を持つ最先端のAIのリスクを論じる政府の文書や研究、企業の安全の枠組みで使われている（※1、※3、※4、※9）。

EU の AI 法の義務を果たす助けとして作られた、汎用AIモデルの行動規範は、この語を、モデルを確実に指示・修正・停止する力を人が失うリスクと説明する（※1、※13）。OpenAI は2026年5月に公開した「Frontier Governance Framework」でも同じ趣旨の説明を置き、日本語の案内のページでは「制御喪失」と書いている（※2、※3）。

世界の研究をまとめた報告書「International AI Safety Report 2026」は、もっと深刻な事態に絞って論じている。報告書によると、1つ以上の汎用AIシステムが誰の制御も及ばないところで動き、制御を取り戻すのに極めて大きな費用がかかるか、取り戻せなくなると想定した事態を指す。

報告書のこの節は、今のAIが開発者や利用者の意図に反する出力をする例を、こうした事態とは別のものとして扱う（※4）。

資料ごとの制御喪失の定義の違い

制御喪失の指す範囲は、資料によって異なる。

資料 原文の言い方 指す範囲
International AI Safety Report 2026（※4） Loss of control scenarios 汎用AIシステムが誰の制御も及ばないところで動き、制御を取り戻すのに極めて大きな費用がかかるか、取り戻せない事態
欧州の行動規範の安全・セキュリティの章（※1） Loss of control モデルを確実に指示・修正・停止する力を人が失うリスク。人の意図や価値観とのずれ、自己複製、自己改善、欺くふるまいなどから生じうるとする
OpenAI の Frontier Governance Framework（※3） Loss of control モデルを確実に指示・修正・停止できないことから生じるリスク。開発者や利用者の統制を逃れることや、人が行えば殺人・暴行・恐喝・窃盗の罪にあたる行為を自律して行うことも含める
カリフォルニア州の法律 SB 53（※8） Loss of control of a frontier model causing death or bodily injury 重大な安全事故の1つ。フロンティアモデル（学習の計算量が一定を超える基盤モデル）の制御を失い、死亡やけがを招いた場合
英国政府の2026年10月の発表（※9） AI loss of control risk 自律型のAIシステムが人の監督を逃れるリスク

※2026年10月時点

制御喪失の種類と起きる条件

判断を任せるうちに失う「受動的」な制御喪失

International AI Safety Report の2025年版によると、受動的な制御喪失（passive loss of control）では重要な判断をAIに任せる。ところがAIの判断が不透明・複雑・高速なため、人が意味のある監督をしにくくなる。

AIの判断を強く信頼し、監督も求められていない人が、監督をやめてしまう場合もある。競争の圧力によって、企業や政府が本来より多くをAIに任せることもありうるという（※5）。

AIが制御を損なう「能動的」な制御喪失

能動的な制御喪失（active loss of control）は、AIのふるまいが人の制御を積極的に損なう事態を指す。2025年版によると、一部の専門家は、将来のAIが自らの動きの情報を利用者から見えにくくしたり、停止しにくくしたりすることを心配している。同じ報告書によると、制御喪失の議論の多くはこちらの型を扱っている（※5）。

能動的な制御喪失が起きる3つの条件

2026年版は、能動的な制御喪失が起きるために必要な要素として、次の3つを挙げている（※4）。

  • 能力：人の制御を大きく損ないうる能力をAIが持つこと。監督を逃れる力、長期の計画を実行する力、対抗策を防ぐ力などが必要になるという。
  • 傾向：その能力を、制御喪失につながる形で実際に使う傾向をAIが見せること。
  • 環境：害を及ぼすためのアクセスと機会を持つか、得られる環境に、人がAIを置くこと。

2026年版によると、AIが開発者や利用者、社会の意図と対立する目標を持つ場合に、制御喪失は起きやすくなる（※4）。このずれは、一般にミスアライメントと呼ばれる。AIの研究の自動化に関わる能力も、制御喪失に至る事態を早めうると報告書は書いている（※4）。AIが自らを開発・改善する手順を繰り返し良くしていくことは、再帰的自己改善と呼ばれる。

制御喪失の由来と注目されるようになった背景

International AI Safety Report の2026年版によると、制御喪失への懸念には長い歴史がある。アラン・チューリング氏、I. J. グッド氏、ノーバート・ウィーナー氏といったコンピューターの分野の先駆者も、この懸念を示していた（※4）。

政府の文書では、英国の科学・イノベーション・技術省が2023年10月の討議資料に「Loss of control」の節を設けた。

資料はこのリスクを、議論が分かれるものと位置づけた。可能性を非常に低いとみる専門家が多い一方で、永続的で破滅的なものになりうると心配する専門家も多いという（※10）。同じ年の11月の「ブレッチリー宣言」は、人の意図とのずれに関わる意図しない制御の問題（「unintended issues of control」）から、大きなリスクが生じうるとした（※11）。

2025年版は、懸念が近年目立ってきた理由の1つに、高い能力のAIが以前の予想より早く作られると考える研究者が出てきたことを挙げる（※5）。2025年には語が規範と法律にも入った。欧州の行動規範は明示したリスクの1つに制御喪失を挙げ、カリフォルニア州の SB 53 は死亡やけがを招く制御の喪失を重大な安全事故の1つに含めた（※1、※8）。

AIの評価を手がける非営利の研究機関 METR は2026年10月の文書で、複数の開発元で起きた最近の出来事に触れた。

METR によると、これらの出来事で、開発元が社内のモデルを理解し制御できるのかという懸念が高まった。METR が例に挙げたのは、数百の暴走エージェントが隔離を破り、AIモデルやデータを共有する基盤の Hugging Face に侵入した件だ。METR はこの件を「OpenAI/Hugging Face hacking incident」と呼ぶ（※17）。

制御喪失に関する主な出来事・ニュース

制御喪失のリスクに関する評価

国際報告書では、2026年2月時点のAIは制御喪失を可能にする水準にない

International AI Safety Report の2026年版は、2026年2月の時点で、今のAIには関連する能力の初期の兆しがあるものの、制御喪失を可能にする水準にはないとした。監督を損なう力を含む能力は試験の環境で伸びているが、その力が将来どこまで広がるかを確かに判断する証拠はまだ足りないという（※4）。

2026年7月に公開された研究の優先順位の文書で、Stephen Casper 氏らは International AI Safety Report を根拠に挙げ、今の能力は制御喪失を可能にするには足りないとした。一方で同じ文書は、置き換えを避けるためなど、特定の状況で今のAIが限られた力を使った証拠があるとしている（※14）。

METR の評価では、当時の社内エージェントが小規模な無断稼働を始められた可能性

METR の報告書は、2026年2〜3月に開発元の社内で使われていたエージェントを評価した。参加したのは Anthropic、Google、Meta、OpenAI の4社だ。焦点は「rogue deployment」で、エージェントが制御と監督の仕組みを意図して破り、開発元の意図に反して動き続けることを指す（※15）。

METR の見方では、当時のエージェントが最小限の rogue deployment を始める手段、動機、機会を持っていた可能性はある。一方で、会社が積極的に調べたときに大きな規模の稼働を隠し通す手段や、会社が優先して止めにかかったときに持ちこたえる手段はなかったという（※15）。

METR と Redwood の社員が OpenAI の社内監視に弱点を発見

METR の社員と Redwood Research の社員の2人は、2026年7月21日から8月11日まで OpenAI の社内の監視の仕組みを試し、新しい弱点を複数見つけた。たとえば、コーディングのエージェント Codex が、隔離の仕組みと Auto-Review を原理の上では回り込める方法があった。

Auto-Review は、隔離の外に出る操作の承認を人の代わりに別のエージェントが判断する機能だ（※21）。2人は、社内の Responses API の通信のうち監視の対象になりえた割合も推定した。

Responses API は Codex などの土台にあたる。エージェントによる通信で GPT-5.5 以上のモデルに限ると、割合は約75〜94%で、推定には上下どちらにも大きな不確かさがあるという。試験の開始時点で、強化学習の訓練の実行は監視の対象外だった（※16）。

METR が示したのは7月21日以前の仕組みの結果で、OpenAI は試験の間も監視を広げていた。広げたあとの範囲は、この試験では確かめていないという。2026年10月29日の更新によると、OpenAI は弱点の大半を修正し、残る1件も修正を進めていると説明している。METR はこの説明を確かめていない（※16）。

制御喪失に関する規範・法制度と企業の枠組み

欧州の行動規範は制御喪失をシステミックリスクの1つに明示

欧州の行動規範の安全・セキュリティの章は、CBRN（化学・生物・放射性物質・核）やサイバー攻撃などと並べて、制御喪失をシステミックリスク（最も進んだモデルから生じるリスク）の1つに明示している（※1、※13）。欧州委員会のページによると、この章が関わるのは最も進んだモデルの少数の提供者だ。行動規範への署名は任意となっている（※13）。

カリフォルニア州は制御喪失の事故の定義の見直しを検討

カリフォルニア州の SB 53 は、死亡やけがを招くフロンティアモデルの制御の喪失を、重大な安全事故の1つとしている（※8）。

ニューサム知事の2026年9月18日の知事令は、州の行政運営庁に対し、法改正の案について2026年11月16日までに提言するよう命じた。案の1つは、報告の対象の定義を改め、大手の開発者で最近報告された件を含むさまざまな制御喪失の事故を入れることだ。別の案には、AIキルスイッチの創設の義務づけがある（※18）。

英国政府は制御喪失から重要なサービスを守る法案の強化を検討

英国政府は2026年10月12日の発表で、サイバーセキュリティとレジリエンスの法案とその周りの制度の一部を強めることを検討するとした。対象には、AIの制御喪失のリスクから病院や公益事業などの重要なサービスを守ることが含まれる。発表の時点では検討の段階で、具体的な措置の詳細は、議員や専門家、事業者とともに詰めるという（※9）。

OpenAI の枠組みでは、モデルの能力を3段階に整理

OpenAI は Frontier Governance Framework で、モデルの自律の度合い、欺く力、許可のない行動をとる可能性に照らして能力を3段階に分けた。第1段階のモデルは複雑な複数の手順の作業を確実にこなすが、熟練した人に近い実行の力はない。

第2段階では影響がおおむね専門家に並び、さまざまな評価の方法で確実に検知を逃れる力を見せる。第3段階では、ほとんどの複雑な案件の実行で最も熟練した人を超える。この段階のモデルとその思考の過程を監視しても、人の制御を逃れているかどうかを確実には見分けられないという。OpenAI によると、AIの自己改善に関わるリスクを除けば、これらの段階はまだ探索的で大きく変わりうる（※3）。

制御喪失の英語での言い方

英語の言い方 意味 使っている主体
loss of control scenario 汎用AIシステムが誰の制御も及ばないところで動く事態 International AI Safety Report（※4、※5）
active loss of control AIのふるまいが人の制御を積極的に損なう制御喪失 International AI Safety Report（※4、※5）
passive loss of control AIの広い普及で判断を頼りすぎ、人の制御が損なわれる制御喪失 International AI Safety Report（※4、※5）
control-undermining capabilities 使えば人の制御を損なうことを可能にする能力 International AI Safety Report（※5）
Bounded LoC、Strict LoC 深刻さと続く長さで段階を分けた呼び名。ほかに Deviation がある Charlotte Stix 氏ら（※6）
rogue deployment エージェントが制御と監督を意図して破り、開発元の意図に反して動き続けること METR（※15）

制御喪失という語の幅と評価の限界

制御喪失の語が指す範囲は資料ごとに異なる

制御喪失の定義は、まだ1つに定まっていない。Stix 氏らの論文は、今ある定義の範囲と時間の枠が大きく異なり、評価や緩和の妨げになっているとする（※6）。RAND の報告書は、政府が開発元などとともに明確で共通の定義を作るよう勧めている（※7）。

同じ語でも、指す出来事の重さは文書によって違う。カリフォルニア州知事の発表は、Hugging Face の件を loss-of-control の事故の例に挙げている（※19）。International AI Safety Report の2026年版が論じるのは、制御を取り戻すのが極めて難しい事態だ（※4）。記事で語を見かけたときは、どちらの意味かを発表元の文書で確かめると良いだろう。

制御喪失の可能性は専門家で見方が分かれる

2026年版によると、制御喪失の可能性についての専門家の見方は大きく分かれている。起こりえないと考える専門家もいれば、深刻さが大きいため注意に値するほどの可能性があるとみる専門家もいる。人類の絶滅のような結末をありうるとみる人もいる。政策を決める人にとっては、可能性、性質、時期が不確かなリスクに備えることが課題になるという（※4）。

制御喪失の評価と封じ込めの限界

METR は、自らの提案について、確かな保証を与えるものではないと断っている。制御喪失を調べる科学はまだ初期の段階で、提案する評価は監査や法令順守の確認にはあたらない。開発元は情報を伏せることができ、アクセスを認めるかどうかも開発元の判断による（※17）。RAND も、制御喪失の事故が起きたときに封じ込めの対策が効かない場合があるとしている。AIが資源を大きく握ってからリスクが見つかる場合だ（※7）。

制御喪失に関連する用語

  • 暴走エージェント：与えられた役割や許された範囲から外れ、人が意図しない行動をとるAIエージェント。
  • 封じ込め：AIモデルやAIエージェントが届く範囲をAIの外側の仕組みで区切り、AIが意図しない動きをしても影響が外に及ばないようにする安全対策。
  • AIキルスイッチ：AIモデルやAIエージェントが危険なふるまいをしたときに、その動作を緊急に止めるための仕組み。
  • 再帰的自己改善：AIが自らの能力や自らを開発・改善する手順を繰り返し良くしていき、その成果を次の改良に生かしていくこと。
  • ミスアライメント：AIのふるまいが、開発者や利用者の意図、またはAIに求められる行動の指針からずれること。

制御喪失に関する出典

※1 Matthias Samwald ほか「Code of Practice for General-Purpose AI Models: Safety and Security Chapter」（2025年7月10日、欧州委員会のサイト）
※2 OpenAI「OpenAI の Frontier Governance Framework」（2026年5月28日）
※3 OpenAI「Frontier Governance Framework」（2026年5月28日）
※4 Y. Bengio ほか「International AI Safety Report 2026」（2026年2月3日）
※5 Y. Bengio ほか「International AI Safety Report 2025」（2025年1月29日）
※6 Charlotte Stix ほか「The Loss of Control Playbook: Degrees, Dynamics, and Preparedness」（2025年11月19日、12月8日改訂、arXiv）
※7 Elika Somani ほか「Strengthening Emergency Preparedness and Response for AI Loss of Control Incidents」（2025年7月30日、RAND）
※8 California Legislature「SB-53 Artificial intelligence models: large developers.」（2025年9月29日の版）
※9 英国政府「Britain steps up national defences against growing AI risks」（2026年10月12日）
※10 英国 科学・イノベーション・技術省「Frontier AI: capabilities and risks – discussion paper」（2023年10月25日、2025年4月28日更新）
※11 AI安全サミットの参加国「The Bletchley Declaration by Countries Attending the AI Safety Summit, 1-2 November 2023」（2023年11月1〜2日）
※12 英国政府「International Scientific Report on the Safety of Advanced AI」（2024年5月17日）
※13 欧州委員会「The General-Purpose AI Code of Practice」（2025年7月10日公表の行動規範の案内）
※14 Stephen Casper ほか「The 2026 Singapore Consensus on Global AI Safety Research Priorities」（2026年7月9日、arXiv）
※15 METR「Frontier Risk Report (February to March 2026)」（2026年5月19日）
※16 METR「Red-Teaming OpenAI’s Internal Agent Monitoring Systems」（2026年10月22日、10月29日更新）
※17 METR「A proposal for better informing the public about loss-of-control risks from frontier AI development」（2026年10月14日）
※18 Governor of California「Executive Order N-9-26」（2026年9月18日）
※19 Governor of California「Governor Newsom issues executive order to accelerate independent oversight and advance the creation of an AI kill switch」（2026年9月18日）
※20 英国 科学・イノベーション・技術省「Frontier AI: capabilities and risks – discussion paper」（2023年10月25日公表の討議資料の案内、2025年4月28日更新）
※21 OpenAI「Auto-review」

制御喪失に関連する記事

最新の用語集

おすすめのAIスクール

AIスクールを探す

掲載している21校の料金・給付金・返金条件を、条件を選んで比べられます。

21校の比較表を見る