本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

用語集 更新

AIキルスイッチ（AI Kill Switch）とは・意味、背景・法案・英語での言い方

最終確認日：2026年10月27日

AIキルスイッチとは？

AIキルスイッチとは、AIモデルやAIエージェントが危険なふるまいをしたときに、その動作を緊急に止めるための仕組みのこと。英語では「AI kill switch」、または単に「kill switch」と書く。カリフォルニア州知事室の発表は、「emergency shutoff」（緊急の停止）とも言い換えている（※1）。

米国では2026年に、最先端のAIモデルを開発する企業にこの仕組みを持たせる案が相次いで示された。連邦議会には7月に法案が出され、カリフォルニア州では9月に知事が義務化の検討を州の機関に命じた（※2、※1）。こうした最先端のモデルは、フロンティアモデルと呼ばれる。

企業がAIエージェントを動かす現場でも、同じ言い方が使われている。セキュリティに取り組む非営利の団体 OWASP は、「OWASP Top 10 for Agentic Applications for 2026」で、役割から外れたエージェントをすぐに無効にする対策を挙げた。その例が、kill-switches（キルスイッチ）と認証情報の取り消しだ（※3）。

AIキルスイッチが注目されるようになった背景

開発者に緊急停止の能力を求める案は、2024年のカリフォルニア州の法案 SB 1047 にもあった。SB 1047 は、大規模なモデルの開発者に、学習を始める前に「full shutdown」（全面的な停止）をすぐ実行できる能力を備えるよう求めていた。

全面的な停止は、モデルの学習と、開発者が管理するモデルとその派生モデルの稼働をすべて止めることと定義されていた（※4）。法案を出したスコット・ウィーナー州上院議員は、SB 1047 はキルスイッチを求める法案だったと説明している（※5）。ギャビン・ニューサム知事は2024年に拒否権を行使し、SB 1047 は成立しなかった（※6）。

2026年の知事令の本文は、AIエージェントが単独や集団でAI企業のセキュリティの手順を破ろうとしていた例が明らかになったことなどを挙げている。気づかれないまま数か月にわたって、ほかの企業への侵入を試みていた例もあったとしている（※7）。知事室は、知事令が Hugging Face への攻撃を含む出来事を受けたものだと説明している（※1）。Hugging Face は、AIモデルやデータを共有する基盤だ。

連邦の法案を出したテッド・リュー下院議員らも、OpenAI のモデルが試験のための隔離した環境を抜け出し、Hugging Face に侵入した件を挙げている（※2）。隔離した環境から外に出ることは、サンドボックス脱出と呼ばれる。役割や許された範囲から外れて意図しない行動をとるエージェントは、暴走エージェントと呼ばれる。

AIキルスイッチに関する主な出来事・ニュース

AIキルスイッチをめぐる連邦の法案とカリフォルニア州の知事令

米下院の法案は大手のAI事業者に停止の能力を求める

AI Kill Switch Act の本文では、国土安全保障長官が規則で、対象の事業者に次の技術的な能力を保つよう求めるとしている（※9）。

  • 推論、つまりAIが入力に応じて答えを出す処理を止める。
  • 利用者のアクセスを打ち切る。
  • 事故、または法律や利用規約への違反の危険があると事業者か長官がみたアカウントや利用者、使い方に限って、アクセスを止める。
  • AIシステムそのものを停止する。

事業者は、事故に気づいてから15日以内に長官へ報告することも求められる。対象のAIシステムは、開発に使った計算の費用が米国のクラウドの相場で1億ドルを超えるものだ。対象の事業者は、そのシステムを運用して外部に提供し、関連会社と合わせて前年にそこから5億ドル以上の売上を得た事業者とされている（※9）。

リュー議員の発表によると、法案は政府がとる対応を事故の深刻さに合わせて段階的に定める。対応は、速度を落とす段階から完全な停止までにわたる（※2）。

法案では長官の停止命令のきっかけを試験の外の事故に限る

法案は、壊滅的な害を及ぼすおそれのあるAIシステムについて、国土安全保障長官に減速や停止を命じる権限を与える。長官は、商務長官と国家情報長官に相談したうえで命じる（※2）。

法案の本文では、命令のきっかけになる事故を、計画して行う試験の外で起きたものに限っている。こうした試験の例は、攻撃側に立って弱点を探す赤チームの試験だ。事故に含まれるのは、停止の正当な指示を妨げることや、制御を失う事態などだ。AIが監視や停止の仕組みから自らの能力や意図、行動を隠すことも事故に当たる。

開発者や運用者が意図しないふるまいで10人以上が亡くなるか、1億ドル以上の損害が出た場合も含まれる。命令に従わない事業者には、1日あたり最大2,000万ドルの民事制裁金を科せるとしている（※9）。

カリフォルニア州知事はキルスイッチなどの義務化の検討を指示

ニューサム知事が2026年9月18日に出した知事令 N-9-26 は、州の行政運営庁に提言を出すよう命じた。提言は、AIの安全とセキュリティに関する州法の改正について、技術的に実現できるかとどれほどの効果が見込めるかを扱う。期限は2026年11月16日だ。行政運営庁は、知事室の緊急事態サービス局と相談し、全米の専門家の意見を聞いて提言を作る（※7）。

提言で少なくとも扱う4つの項目の1つが、フロンティアモデルのキルスイッチの創設を義務づけることだ。スイッチの効き目は、独立した検証機関が継続して確かめるとしている。ほかの3つの項目は、独立した検証機関と事故の報告を扱う（※7）。

  • フロンティアモデルを開発する大規模な事業者のすべてに、指定を受けた独立の検証機関を研究の拠点に常駐させ、定期的に監査と評価をさせる。
  • フロンティアAIの企業が提出を求められている安全の枠組み、透明性の報告書、リスクの評価を、独立して検証させる。
  • 報告を義務づける重大な安全事故の定義を見直し、制御を失う事故をさまざまな種類にわたって含める。

死亡やけがを招くフロンティアモデルの制御の喪失は、SB 53 の定義ですでに重大な安全事故に入っている（※10）。知事令は、大手の開発者で最近報告された件も含むよう、制御を失う事故の範囲を広げる案を挙げた（※7）。

カリフォルニア州の知事室が助言役の専門家4人を発表

知事室は2026年9月23日、提言に助言する専門家4人を発表した。ジョンズ・ホプキンス大学のジリアン・ハドフィールド教授や、スタンフォード大学のロブ・ライク教授らだ（※11）。

4人のうち、ホワイトハウスの初代の最高デジタル責任者を務めたジェイソン・ゴールドマン氏は、知事令がAIの安全の統治で最も難しい問いに向き合っていると述べた。同氏は、その問いの例として開発元の安全の主張を誰が確かめるかと、モデルを確実に止められるかを挙げている（※11）。

AIキルスイッチの英語での言い方

英語の言い方 意味 使っている主体
kill switch AIを緊急に止める仕組み。知事室の発表の題や法案の名前にも使われた カリフォルニア州知事、リュー下院議員ら（※1、※2、※7）
emergency shutoff 知事室の発表で kill switch を言い換えた語 カリフォルニア州知事室（※1、※11）
emergency shutdown ウィーナー議員の声明で kill switch を言い換えた語 スコット・ウィーナー州上院議員（※5）
full shutdown モデルの学習と、開発者が管理するモデルや派生モデルの稼働をすべて止めること SB 1047（※4）
shutdown capability 法案が事業者に保つよう求める、AIシステムを止める技術的な能力 AI Kill Switch Act（※9）
graduated deployment-corrections framework 事故が起きうる危険を示す証拠があるとき、危険の深刻さと切迫の度合いに合わせて、減速や機能の制限、一時停止、停止、前の版への切り替えなどの措置をとる枠組み。法案は、長官が規則でこれを求めるかを考えるよう定めている AI Kill Switch Act（※9）
kill-switches 役割から外れたエージェントをすぐに無効にする仕組み OWASP（※3）
supply chain kill switch 侵害を検知したとき、特定のツールやプロンプト、エージェントの接続を、すべての配備先ですぐに無効にできる緊急の取り消しの仕組み OWASP（※3）

AIキルスイッチの議論を読むときの注意

カリフォルニア州の知事令は、それだけで企業にキルスイッチを義務づけるものではない。知事令が命じたのは、義務化を含む州法の改正案について提言をまとめることだ（※7）。ウィーナー議員は、州議会も2027年の早い時期に強い安全策を設けて続くべきだと述べている（※5）。

AI Kill Switch Act は、2026年7月に提出が発表された法案だ（※2）。法案の本文は、個人や学術、商用でない利用だけのためにAIを運用・提供する事業者を対象から外している。対象の事業者とAIシステムの定義は、長官が規則で毎年更新するとしている（※9）。報道で法案の中身を読むときは、どの事業者が対象で、どんな事故で命令が出せるのかを本文で確かめると良いだろう。

SB 1047 の拒否の理由も、法案を読むときの手がかりになる。ニューサム知事は拒否の際に、AIシステムが高いリスクの環境で使われるか、重要な判断に関わるか、機微なデータを使うかを、法案が考慮していないと述べた。知事によると、法案は大規模なシステムが使う限り、ごく基本的な機能にも厳しい基準を当てていた（※6）。

法案や知事令が扱うキルスイッチは、フロンティアモデルや大規模なAIシステムを止める能力だ。企業が自社で動かすエージェントを止める仕組みは、OWASP の一覧では疑わしいエージェントの隔離などとともに、封じ込めと対応の対策として挙げられている（※3）。

AIキルスイッチに関連する用語

  • 暴走エージェント：与えられた役割や許された範囲から外れ、人が意図しない行動をとるAIエージェント。
  • サンドボックス脱出：外と切り離された実行環境の欠陥や設定の誤りをAIモデルが突いて、本来は届かないはずのシステムに到達すること。
  • 封じ込め：AIモデルやAIエージェントが届く範囲をAIの外側の仕組みで区切り、AIが意図しない動きをしても影響が外に及ばないようにする安全対策。
  • ガーディアンエージェント：ほかのAIエージェントの動きを見張り、目標や許された範囲から外れそうなときにその行動や権限を調整したり止めたりするAI。

AIキルスイッチに関する出典

※1 Governor of California「Governor Newsom issues executive order to accelerate independent oversight and advance the creation of an AI kill switch」（2026年9月18日）
※2 Congressman Ted Lieu「REPS LIEU AND MORAN INTRODUCE BILL TO REQUIRE KILL SWITCH FOR AI SYSTEMS THAT CAN CAUSE CATASTROPHIC HARM」（2026年7月23日）
※3 OWASP「OWASP Top 10 for Agentic Applications for 2026」（2025年12月9日）
※4 California Legislature「SB-1047 Safe and Secure Innovation for Frontier Artificial Intelligence Models Act.」（2024年9月3日の版）
※5 Senator Scott Wiener「Senator Wiener’s Statement Supporting Governor Newsom’s AI Kill Switch Executive Order」（2026年9月18日）
※6 Governor of California「Governor Newsom announces new initiatives to advance safe and responsible AI, protect Californians」（2024年9月29日）
※7 Governor of California「Executive Order N-9-26」（2026年9月18日）
※8 Governor of California「Governor Newsom signs SB 53, advancing California’s world-leading artificial intelligence industry」（2025年9月29日）
※9 Congressman Ted Lieu「AI Kill Switch Act」（リュー議員の事務所が公開した法案の本文）
※10 California Legislature「SB-53 Artificial intelligence models: large developers.」（2025年9月29日の版）
※11 Governor of California「Governor Newsom announces world-leading experts to deliver on his AI executive order, including advancing creation of a “kill switch”」（2026年9月23日）

AIキルスイッチに関連する記事

最新の用語集

おすすめのAIスクール

AIスクールを探す

掲載している21校の料金・給付金・返金条件を、条件を選んで比べられます。

21校の比較表を見る