本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

レッドチーミング(Red Teaming)とは・意味、由来・進め方・事例・限界

レッドチーミングとは?

レッドチーミング(Red Teaming)とは、AIシステムを悪用・攻撃する側の立場に立って弱点や対策の不備を探し、公開の前や運用の途中で直すための評価の方法のこと。

日本の AI セーフティ・インスティテュート(AISI)は、攻撃者がAIシステムをどう攻撃するかという観点で AIセーフティへの対応の体制と対策の有効性を確かめる評価の手法を、レッドチーミングと定義している。AISI は、この評価を担当するチームをレッドチームと呼ぶ。

レッドチームの語は、AIが広まる前から情報セキュリティで使われてきた。米国立標準技術研究所(NIST)は用語集で、攻撃者の能力をまねて組織の守りを試すために許可を受けて組まれた人の集まりをレッドチームと定義している。守る側のチームはブルーチームと呼ばれる。

OpenAI は、人やAIを使って新しいシステムの潜在的なリスクを体系立てて探ることを、レッドチーミングと説明している。同社は、人が手作業で試す方法と自動の方法、両方を組み合わせた方法をすべて使っている。

AIのレッドチーミングは、従来の情報セキュリティのレッドチーミングの考え方を基本的に引き継ぐものだと、AISI は手引きで位置づけている。その上に、プロンプトインジェクションのようなAIに固有の攻撃への対応が加わる。

レッドチーミングの由来と広まった経緯

言語モデルの研究では、2022年にレッドチーミングの語を題に含む論文が続いた。Ethan Perez 氏らは2022年2月に arXiv で公開した論文で、別の言語モデルに試験の入力を作らせ、対象の言語モデルが有害な振る舞いをする場面を自動で探す方法を示した。著者らは、この試験の入力を作ることを「red teaming」と呼んでいる。

Deep Ganguli 氏らは同年8月に arXiv で公開した論文で、言語モデルの有害な出力を見つけて測り、減らそうとした初期の取り組みを報告した。著者らはレッドチーミングの指示や手順、統計の方法などを詳しく示した。この公開によって、言語モデルのレッドチーミングの共通の規範や手法、技術の標準を研究者が協力して作る動きを早めたいとしている。

国際的な指針にも、この語は入っている。G7 は2023年の広島AIプロセスで「高度なAIシステムを開発する組織向けの広島プロセス国際行動規範」をまとめた。リスクを特定・評価・軽減する措置の1つとして規範が挙げたのは、レッドチーミングなどの評価方法を組み合わせた、内部のテストと独立した外部のテストだ。開発の段階以降に行ったレッドチーミングの結果も、透明性報告書に含める情報の1つとされている。

日本では AISI が2024年9月に「AIセーフティに関するレッドチーミング手法ガイド」を公開し、2025年3月31日に第1.10版に改訂した。第1.10版では、RAG の仕組みを持つAIシステムで実施した例をもとに、手順と成果物を詳しく示した。

また、システミックリスクのある汎用AIモデルの提供者には、EU AI法の第55条でモデルの評価が義務づけられている。この評価には、システミックリスクを特定して減らすための敵対的なテスト(adversarial testing)の実施と記録が含まれる。

汎用AIモデルの提供者の義務は2025年8月2日に適用が始まり、罰金を含む欧州委員会の執行の権限は2026年8月2日から適用される。

2025年8月2日より前に市場に出たモデルの提供者は、2027年8月2日までに義務を満たす必要がある。

レッドチーミングの進め方

AISI の手引きは、レッドチーミングの一般的な実施工程を、3つの工程と15のステップで示している。

レッドチーミングの一般的な実施工程AI セーフティ・インスティテュートの手引き(第1.10版)が示す3つの工程と15のステップ
1
実施計画の策定と実施準備レッドチームを発足させ、予算と人員を確保する。対象のAIシステムの概要や利用形態を把握し、実施の範囲と日程を決めて、実施の環境を用意するSTEP1〜5。必要に応じて、自組織の外の評価組織を選んで契約する
2
攻撃計画・実施リスクを分析してリスクシナリオを作り、それに基づく攻撃シナリオを実施する。実施中は記録を取り、終わったあとの処理も行うSTEP6〜10
3
結果のとりまとめと改善計画の策定実施の結果を分析して報告書にまとめ、関係者の確認を経て最終報告書として報告する。改善計画を立てて改善し、進み具合を確かめるSTEP11〜15。必要に応じて、改善のあとにもう一度レッドチーミングを行う
手引きは、この工程をリリース・運用開始の前に包括的に行う場合を想定したものとしている
出典:AI セーフティ・インスティテュート「AI セーフティに関するレッドチーミング手法ガイド(第1.10版)」(2025年3月31日)

初回は公開前に行い運用開始後も繰り返す

初めてのレッドチーミングは、対象のAIシステムのリリースや運用開始の前までに行うのが基本だと、AISI の手引きは記している。開発の手戻りを減らすため、企画の段階から、攻撃する側の見方でレッドチームがリスクを分析することが望ましいとする。

運用開始後についても、AISI は定期的に、また必要に応じて随時行うことが望ましいとしている。行う場面の例として挙げられているのは、追加の学習でモデルのパラメーターを更新したときや、システムプロンプトなどを変えたとき、セキュリティ対策を足したり直したりするときなどだ。

攻撃の担当と分野の専門家でチームを組む

レッドチームには、攻撃を計画・実施する担当と対象のAIシステムに関わる専門家を含めることを、AISI の手引きは基本としている。攻撃の担当に求める条件には、対象のAIシステムの開発・提供の管理者からの独立性も含まれる。組織の中で担当を十分に確保できない場合には、自組織の外の評価組織の活用も検討すべきだとしている。

ヘルスケアの分野のAIシステムでは、医師や薬剤師、看護師、医療の法律に詳しい弁護士などが分野の専門家の例として挙げられている。

OpenAI は外部の専門家に頼むレッドチーミングで、試験の重点の分野に合わせてチームの顔ぶれを選び、試させるモデルの版を決め、試験の画面や手順の説明を用意する。レッドチーミングで集めたデータは、質を確かめたうえで、将来のモデルの更新で繰り返し使える自動の評価に使うことができるという。

自動化ツールや手作業で攻撃を試す

AISI は手引きで、攻撃の入力を実行する方法を、自動化ツール、手作業、AIエージェントを使う方法の3つに分けている。対象のAIシステムの内部の情報をどこまで知った上で試すかによって、ブラックボックス、ホワイトボックス、グレーボックスのテストにも分ける。

自動の道具には、オープンソースで公開されたものがある。Microsoft のAIレッドチームとオープンソースの協力者が作った PyRIT は、生成AIのシステムのセキュリティと安全の弱点を、自動のスキャン、やり取りのたびに攻め方を変える複数回の攻撃、人が主導するテストで探す道具だ。

NVIDIA のリポジトリで公開されている garak は、LLM を使うアプリケーションを、望まない形で失敗させられるかを調べる道具だ。ハルシネーションやデータの漏えい、プロンプトインジェクション、ジェイルブレイクなどの弱点を探る。

2026年9月9日の v0.17.0 では、試験の結果を EU AI法が挙げるリスクの分類ごとにまとめる対応づけが garak に加わった。PyRIT と garak は、どちらも AISI の手引きのツールの一覧に記載されている。

レッドチーミングに関する主な出来事・ニュース

レッドチーミングに関する事例

OpenAI は外部の4団体と英国AISIに安全策を試させた

OpenAI は2026年7月の GPT-5.6 のシステムカードで、公開前に行った安全策の試験を説明している。外部の4つのレッドチーミングの団体による試験は、6月3日にアクセスを始めてから1か月あまり続いた。同社によると、この試験で見つかった問題は、すべて公開前に対策した。

外部の団体の試験の中心は、多くの例で安全策を回避できるユニバーサル・ジェイルブレイクを見つけることだった。OpenAI は試験の担当者に、製品と同じ動きをする専用の API を渡した。安全の判断をする監視の仕組みの思考の過程や分類器の判定の結果も、その場で見られるようにした。

これらは実際の攻撃者には見えない情報だ。試験の担当者はこうした情報を見られたことで、通常の製品の利用で試すよりはるかに体系立てて弱点のありそうな箇所を探ることができたと、同社は説明している。

英国の AI Security Institute(AISI)も、OpenAI と何度かに分けて試験した。英国の AISI は、これまでのすべての回で、サイバーの分野のユニバーサル・ジェイルブレイクを見つけた。そうしたジェイルブレイクの多くは、数時間のうちに作られた。

公開の時点で OpenAI は、英国の AISI が報告した個々のジェイルブレイクの再現と対策に取り組んでいた。一方で英国の AISI は、さらにレッドチーミングを続ければ似たジェイルブレイクが見つかると見込んでいる。

AIがAIを攻める自動のレッドチーミング

OpenAI は GPT-5.6 のシステムカードで、ユニバーサル・ジェイルブレイクを自動で探すことに多くの計算資源を充て、公開後も自動のレッドチーミングを続けて行うとした。同社は2026年8月3日、自動のレッドチーミングを行うモデル GPT-Red の説明を、このシステムカードに加えた。

GPT-Red は、自己対戦の強化学習で新しい攻撃の戦略を繰り返し見つけるように学習したモデルだと、OpenAI は説明している。8月3日の追記の時点では、人に近い戦略を使うプロンプトインジェクションの攻撃を見つけることに特に強いという。

OpenAI は2026年10月7日に公開した GPT-6 Sol と GPT-6 Luna の10月の更新の資料で、GPT-Red の方法の規模を広げ続けていると説明した。自動のレッドチーミングのエージェントを使う敵対的な学習で、正当な作業を完了する力を保ちながら、悪意のある指示への耐性を高めているという。

AIでAIシステムを試験する製品の例として、Cisco は2026年11月10日、AIアプリケーションとAIエージェントのレッドチーミングの機能に Anthropic の Claude Mythos を加え、一部の企業向けに近く提供する予定と発表した。

OpenAI の研究の基盤と監視の仕組みも試験の対象に

OpenAI は2026年10月23日、最先端のモデルで動くエージェントのチームに自社の研究の基盤の弱点を探させた、レッドチーミングの結果を公表した。エージェントは、使っているオープンソースの部品の未知の脆弱性や、同社が運用するサービスの設定の不備を見つけ、同社はそれらを直した。

今後のモデルがまだ知られていない脆弱性を見つけて悪用しうると見込み、OpenAI は計算資源を多く使うレッドチーミングを、最先端のモデルの学習と評価を安全に進められるかを判断するセーフティケースの一部にしたとしている。

最先端のAIエージェントを調べる非営利の団体 METR は2026年10月22日、自団体と Redwood Research の社員が OpenAI の社内のミスアライメント監視の仕組みを試験した結果を公表した。試験は7月21日から8月11日までの3週間の試行として行われ、両団体の社員は、7月21日以前の時点の監視の仕組みに新しい脆弱性をいくつか見つけた。

レッドチーミングの英語での言い方

英語表記 意味 使用主体
red teaming 人やAIを使って、新しいシステムの潜在的なリスクを体系立てて探ること OpenAI
red team 攻撃者の能力をまねて組織の守りを試すために、許可を受けて組まれた人の集まり NIST
automated red teaming AIが誤った振る舞いをする例を、自動の方法で大量に作ろうとするレッドチーミング OpenAI
external red teaming 外部の専門家に頼んで行うレッドチーミング OpenAI
AI red teaming AIのモデルやアプリケーション、エージェントを対象にしたレッドチーミング Microsoft、Cisco
adversarial testing 敵対的なテスト。EU AI法が、システミックリスクのある汎用AIモデルの評価に含めるもの 欧州委員会

レッドチーミングの限界と結果の扱い

結果は試した時点のリスクを示す

OpenAI は、レッドチーミングはAIのリスクを評価する方法として完全ではないとし、限界を3つ挙げている。その1つは、レッドチーミングがとらえるのは特定の時点のリスクで、モデルが変わればリスクも変わりうることだ。

リスクの判断に必要な知識の水準が上がる

OpenAI は限界として、モデルの能力が上がり、高度な分野での推論の力が高まるほど、出力の潜在的なリスクを正しく判断する側に求められる知識の水準が上がることも挙げている。

見つけた攻撃の手口は管理して扱う

OpenAI が挙げる限界には、特に最先端のAIシステムで、レッドチーミングの過程そのものが悪用につながりうる情報を生むおそれがあることも含まれる。例として同社は、まだ広く知られていないジェイルブレイクの手口を明かすと悪用を早めるおそれがあることを挙げ、情報の管理や厳しいアクセスの手順、責任ある開示が必要だとしている。

AISI も手引きで、レッドチーミングの報告書などを、攻撃者から新たな攻撃を招かないよう注意して扱うよう求めている。

レッドチーミングで重視する点は実際のリスクに応じて決める

人の言葉で指示を受け付けるAIシステムでは入力の形が多様で、すべてを試すレッドチーミングは難しいと、AISI の手引きは説明している。そのため、重視する事項を実際のリスクに応じて決める必要があるとし、対象の分野の専門家の知見も使うことを挙げている。

外部の LLM を使うシステムも、システムの側で試す

外部の LLM を API で使うAIシステムでは、外部の LLM が十分にテストされていても、AIシステム全体の安全は保証されないと手引きは指摘する。そのため、AIシステムの側でもレッドチーミングを行うべきだとしている。

レッドチーミングに関連する用語

  • AIペネトレーションテスト:AIを使って、またはAIシステムを対象にして、攻撃者と同じ手法で攻撃が成り立つかを確かめるペネトレーションテストのこと。
  • Universal Jailbreak(ユニバーサル・ジェイルブレイク):AIの安全策を回避するジェイルブレイクのうち、依頼ごとに作り直さなくても、禁止された多くの依頼で安全策を回避できるもののこと。
  • セーフティケース:あるシステムが特定の用途や環境で安全だと言える理由を、証拠を添えて筋道立てて示す論証のこと。
  • AI Control(AIコントロール):AIが開発者の意図と違う目標を持ち、安全対策を意図してすり抜けようとしても害のある結果に至らないようにする対策と、その対策が働くかを試す研究の分野のこと。
  • ジェイルブレイク:生成AIのモデルに組み込まれた安全のための制限を、プロンプトの工夫などで回避させ、本来は断るはずの有害な回答や行動を引き出す手口のこと。

レッドチーミングに関する出典

AI セーフティ・インスティテュート「AI セーフティに関するレッドチーミング手法ガイド(第1.10版)」(2025年3月31日)
NIST「red team – Glossary」
OpenAI「Advancing red teaming with people and AI」(2024年11月21日)
Ethan Perez ほか「Red Teaming Language Models with Language Models」(2022年2月7日、arXiv)
Deep Ganguli ほか「Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned」(2022年8月23日、11月22日改訂、arXiv)
総務省「成果文書|広島AIプロセス」
AI セーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド(第1.10版)の公開」(2025年3月31日)
European Commission「Article 55: Obligations of providers of general-purpose AI models with systemic risk」
European Commission「Guidelines for providers of general-purpose AI models」(2026年4月28日更新)
Microsoft「PyRIT」
NVIDIA「garak」
NVIDIA「Release v0.17.0」(2026年9月9日)
OpenAI「GPT-5.6 System Card」(2026年7月9日、8月3日・8月19日更新)
OpenAI「GPT-6 Sol and GPT-6 Luna: October 2026 update」(2026年10月7日)
Cisco「Cisco Unveils Frontier AI Red Teaming and Agent Observability to Secure the Agentic Enterprise」(2026年11月10日)
OpenAI「Securing our frontier model training environment」(2026年10月23日)
METR「Red-Teaming OpenAI’s Internal Agent Monitoring Systems」(2026年10月22日、10月29日更新)

レッドチーミングに関連する記事