Frontier AI Safety Framework(フロンティアAI安全フレームワーク)とは・意味、構成・事例

Frontier AI Safety Frameworkとは?
Frontier AI Safety Framework(フロンティアAI安全フレームワーク)とは、開発企業が、AIの能力がしきい値に達したときにとる安全・セキュリティの対策を前もって定めた手順のこと。
定義の出どころは、Yoshua Bengio 氏が率い、100人を超える専門家が書いた「International AI Safety Report 2026」(国際AI安全性報告書2026)の用語集だ。報告書によると、こうした枠組みの多くは、モデルが一定の能力に達したら決めた対策をとる「if-then commitments」(条件つきの約束)の形で組まれている。
Frontier AI Safety Framework は、各社の文書をまとめて呼ぶために報告書が使う名前だ。文書の名前は会社ごとに違い、OpenAI は「Preparedness Framework」、Anthropic は「Responsible Scaling Policy」(RSP)、Google DeepMind は「Frontier Safety Framework」と呼ぶ。
多くの枠組みが扱うのは、化学・生物・放射性物質・核(CBRN)の脅威、高度なサイバー能力、高度な自律的なふるまいに伴うリスクだと、報告書は説明している。違法な差別が大規模に起きることや子どもの性的搾取など、ほかの分野も扱う枠組みは少数にとどまるという。枠組みが対象にするのは、各社の最も進んだモデル(フロンティアモデル)とシステムだ。
Frontier AI Safety Frameworkが広まった経緯
Anthropic は2023年9月19日、RSP の初版を公開した。初版は、米国政府が危険な生物の材料の扱いに定めるバイオセーフティレベル(BSL)におおまかにならい、AI Safety Levels(ASL)という段階を設けた。モデルが壊滅的なリスクを生む可能性が高いほど、高い段階の安全・セキュリティ・運用の基準を求める仕組みだ。
RSP は、AIの評価に取り組む ARC Evals が生み出して開発を先導した「ARC Responsible Scaling Policy」の枠組みから着想を得たと、Anthropic は初版の発表で記している。
ARC Evals は2023年12月、ARC(Alignment Research Center)から独立した非営利の団体になるのに合わせて、名前を METR に改めた。OpenAI は2026年5月の文書で、自社の取り組みが業界のベストプラクティスとともに、METR が最初に示した Responsible Scaling Policies の提案も参考にしていると記している。
最先端のAIを開発する複数の企業が2023年以降、最も進んだシステムの深刻なリスクを見つけて対応する計画を自主的に文書にして公開している。2025年に枠組みを公開するか更新した企業は、報告書の集計では12社だ。
2024年5月21日には、英国と韓国の政府がAIソウル・サミットでの企業の約束(Frontier AI Safety Commitments)を発表した。約束に加わった組織は、深刻なリスクに焦点を合わせた安全の枠組みを、フランスで開く次のAIサミットまでに公開するとした。
さらに、法律で公開を求める動きもある。カリフォルニア州のSB 53は、Transparency in Frontier Artificial Intelligence Act(TFAIA)を定める法律で、大手の開発者に「frontier AI framework」の作成・実施とウェブサイトでの公開を求めている。
OpenAI は2026年5月28日に「Frontier Governance Framework」を公開し、TFAIA のもとでの同社の「Frontier AI Framework」はこの文書だとした。
EU の汎用AIの行動規範のもとでは、OpenAI は Frontier Governance Framework を、同社の Safety & Security Framework の公開向けの要約と位置づけている。
今の法律の要件を超える社内の取り組みも含めて、高度なAIシステムの最も深刻なリスクを管理するときの基盤はこれからも Preparedness Framework だと、同社は説明している。Frontier Governance Framework は、その考え方のうち特定の法律の義務に当てはまる部分を、公開の文書にまとめたものだ。
Frontier AI Safety Frameworkの構成
しきい値に達したら対策を強める条件つきの約束
条件つきの約束は、あらかじめ定めた能力のしきい値にAIのモデルやシステムが達したときに決まった対応を始めさせる手順だと、報告書は説明している。例として挙げているのは、初心者がCBRNの兵器を作って使うのをモデルが意味のある形で手助けできると分かったら、セキュリティの強化、提供の制限、即時の監視を実施する、という約束だ。
対策の前と後でリスクを評価する
枠組みの多くは対策を講じる前に能力を評価することと、対策のあとに残るリスクの分析かセーフティケース(安全だと言える理由を証拠で示す論証)を求めていると、報告書は整理している。対策のあとの分析は、レッドチーミングの結果を踏まえることが多い。
Google DeepMind の Frontier Safety Framework の3.1版は、リスク管理の手順を、リスクの特定から受け入れの判断までの段階に分けて定めている。
枠組みどうしで違う点
枠組みの多くは脅威のモデル化、レッドチーミング、危険な能力の評価といった似た手法を使うと、報告書は分析している。一方で、リスクの段階としきい値の定め方、評価の頻度、評価としきい値のあいだに取る余裕、対策の約束の範囲は、枠組みごとに違うという。
対策の範囲の違いについて、報告書は、モデルの重みを消すことまで約束に含めるか、開発の一時停止にとどめるかを例に挙げている。
各社の枠組みと能力の段階
OpenAI、Anthropic、Google DeepMind の枠組みの今の版と、能力の段階の呼び方を表に挙げる。
| 企業 | 枠組みの名称 | 最新の版 | 主なリスク分野 | 段階の名称 |
|---|---|---|---|---|
| OpenAI | Preparedness Framework | 第2版(2025年4月15日) | 生物・化学、サイバーセキュリティ、AIの自己改善 | High・Critical |
| Anthropic | Responsible Scaling Policy | 3.4版(2026年7月8日施行) | 化学・生物兵器、影響の大きい場面でのミスアライメント、主要な分野の研究開発の自動化 | 能力または利用のしきい値。今の安全策の水準は ASL で呼ぶ |
| Google DeepMind | Frontier Safety Framework | 3.1版(2026年4月17日) | CBRN、サイバー、有害な操作、機械学習の研究開発とミスアライメント | Critical Capability Level(CCL)・Tracked Capability Level(TCL) |
※2026年11月時点
OpenAI は High と Critical の2段階を定める
OpenAI の Preparedness Framework の第2版は、深刻な害を、数千人の死亡か重い傷害、または数千億ドルの経済の損害と定めている。そのうえで、深刻な害を生みうる能力の水準を High と Critical の2段階に分けた。
High は、深刻な害に至る既存の経路を大きく強める能力を指す。High に達したモデルは、提供の前に深刻な害のリスクを十分に抑える安全策を備え、開発中も適切なセキュリティの管理をとる必要がある。Critical は、前例のない新しい種類の経路で深刻な害が生じる意味のあるリスクを示す能力で、提供の予定にかかわらず開発中から安全策が必要だ。
OpenAI は第2版で、生物・化学とサイバーセキュリティとAIの自己改善のどの分野でも Critical に当たるモデルは、Critical の基準を満たす安全策とセキュリティの管理の基準を定めるまでそれ以上の開発を止めるとしている。
枠組みの運用は、部門をまたぐ社内の幹部でつくる Safety Advisory Group(SAG)が監督し、最先端の能力を安全に提供するのに必要な安全策の水準と種類を勧告する。経営陣は勧告を受け入れるか退けるかを決め、取締役会の安全・セキュリティ委員会がその判断を監督する。
Anthropic は第3版で業界全体への提言と自社の計画を分けた
Anthropic は、2026年2月24日に施行した RSP の3.0版で、方針を全面的に書き直した。今の3.4版は、能力のしきい値ごとに同社の計画としての対策と業界全体に求める対策の提言を並べた表を置いている。
業界全体への提言と自社の計画を分けたのは、AIによる壊滅的なリスクの大きさが1社ではなく複数の開発者の行動に左右されるためだと、同社は説明している。前の版は、ほかの開発者が同じことをするかにかかわらず、自社のモデルのリスクを許容できる水準まで下げる対策を約束していた。
3.0版からは、セキュリティ、アライメント、安全策、政策の分野の具体的な計画を書く「Frontier Safety Roadmap」と、提供しているすべてのモデルのリスクを数量で示す「Risk Report」の公開も求めている。同社は、Roadmap の目標は固い約束ではなく、進み具合を公に評価するための目標だとしている。
Anthropic は ASL を、今のモデルに当てている安全策の水準を指す語として残した。同社は将来の能力の水準について、決まった対策の一覧を示す代わりに、開発者がどんな論証を示すべきかに重きを置くとしている。
Google DeepMind は3.1版で一段低い TCL を加えた
Google DeepMind の枠組みの中心は、Critical Capability Level(CCL)と呼ぶ能力のしきい値だ。CCL は、対策がなければ深刻な害のリスクが高まりうる能力の水準を指す。
2026年4月17日の3.1版は、CCL より低い能力で現れうる大きなリスクをとらえるため、Tracked Capability Level(TCL)を加えた。TCL を定めたのは、CBRN と、機械学習の研究開発とミスアライメントの分野だ。
Google DeepMind は CCL ごとに、次の評価の前に CCL に達するかもしれないことを知らせる警告のしきい値(alert threshold)を置く。早期警告の評価(early warning evaluations)では、モデルが TCL や CCL にどこまで近いかを測る。
Meta や Amazon なども枠組みを公開している
ソウルの約束に署名した開発者の一部が出した最初の枠組みは、国際AI安全性報告書2026の表にまとめられている。
Meta の Frontier AI Framework、Amazon の Frontier Model Safety Framework、Microsoft の Frontier Governance Framework なども、報告書の表に並ぶ。Microsoft の枠組みの名前は、OpenAI が2026年5月に出した文書と同じだ。
Frontier AI Safety Frameworkに関する主な出来事・ニュース
- 2023年9月19日 Anthropic「Introducing Anthropic’s Responsible Scaling Policy」を公開:Anthropic は、壊滅的なリスクに対処するための AI Safety Levels(ASL)の枠組みを定めた方針を公開した。
- 2024年5月21日 英国・韓国の政府「Frontier AI Safety Commitments」を発表:約束に加わった組織は、深刻なリスクに焦点を合わせた安全の枠組みを、フランスで開く次のAIサミットまでに公開するとした。
- 2026年2月3日 Yoshua Bengio 氏ら「International AI Safety Report 2026」を公表:Bengio 氏らは報告書で Frontier AI Safety Framework を、前もって決めたしきい値にAIシステムが達したときにとる安全・セキュリティの対策を開発者が定めた手順の集まりと説明した。
- 2026年2月24日 Anthropic「Responsible Scaling Policy」3.0版を施行:Anthropic は、RSP を全面的に書き直し、Frontier Safety Roadmap と Risk Report を公開する形にした。
- 2026年4月17日 Google DeepMind「Frontier Safety Framework」3.1版を公開:Google DeepMind は、最も進んだモデルの能力の水準を見極め、深刻なリスクを抑える備えを定めた枠組みの3.1版を公開した。
- 2026年5月28日 OpenAI「OpenAI の Frontier Governance Framework」を公開:OpenAI は、カリフォルニア州の法律や EU のAI法の行動規範などの法的な要件に、自社の安全とセキュリティの取り組みがどう合っているかを示す文書を公開した。
- 2026年9月3日 OpenAI「GPT-6 Astra System Card」を公開:OpenAI は、GPT-6 Astra が Preparedness Framework でサイバーセキュリティの能力が Critical の水準に達した同社で初めてのモデルだとした。
- 2026年11月9日 各国の首脳と企業「Paris Declaration on AI safety and security」に署名:署名した首脳と企業は宣言で、政策の担い手・研究者・開発者が既存の枠組みをもとに、最先端のモデルの評価とリスク管理の共通の枠組みをつくると約束した。
Frontier AI Safety Frameworkに関する事例
OpenAI は GPT-6 Astra を初めてサイバーで Critical と判定
OpenAI は2026年9月3日に公開した GPT-6 Astra のシステムカード(モデルの安全性の評価をまとめた文書)で、GPT-6 Astra を、Preparedness Framework でサイバーセキュリティの能力が Critical の水準に達した同社で初めてのモデルとした。
適切な道具とアクセスがあれば GPT-6 Astra は、人の手で一歩ずつ導かなくても多くの守りの固いシステムで未知のセキュリティの欠陥を見つけ、それを突く新しい方法を作り出せるという。同社は、悪用やミスアライメントによる有害なサイバーの行動への守りを大きく強めたとしている。
OpenAI は、社内での開発と利用にも対策を広げた。同社が挙げるのは、より厳しい隔離、学習途中のモデル(チェックポイント)の暗号化、思考の過程を含む動作の記録すべての監視、社内で使う前に通す必要があるアライメントの評価などだ。
また、OpenAI は2026年10月26日に公開した GPT-6.1 Terra もサイバーセキュリティでは Critical、生物・化学では High として扱った。SAG の勧告と、安全策が一般への公開に十分だとする経営陣の判断は、社内の安全策の報告書を踏まえたと同社は説明している。
Google DeepMind は Gemini 4 Argon でセーフティケースを作った
Google DeepMind は2026年10月の Gemini 4 Argon の報告書で、Frontier Safety Framework の3.1版に沿った評価の結果をまとめた。
評価の結果、同社は Gemini 4 Argon が生物の情報のリスクと、サイバーセキュリティの CCL に達した可能性を否定できないとした。そのため2つの分野でセーフティケースを作り、リスクを CCL の水準より下に抑えたと評価している。同社はこの報告書を、これらの分野でこれまでに公開した中で最も詳しい安全の報告書と位置づけている。
2025年は予防として強い安全策を講じる判断が続いた
国際AI安全性報告書2026によると、2025年には新しいモデルが早期警告に達したと発表した開発者や、追加の評価でしきい値を超えたと分かる可能性を否定できないと発表した開発者が複数いた。開発者は予防として、より強い安全策を講じた。
例として報告書が挙げるのは、Anthropic が Claude Opus 4 を同社で初めて ASL-3 の安全策のもとで提供したことだ。Google DeepMind の Gemini 2.5 Deep Think は、化学・生物のリスクで CCL の早期警告に達した同社で初めてのモデルで、追加の対策がとられた。
Frontier AI Safety Frameworkをめぐる国際的な宣言と国内の検討
パリ宣言は既存の枠組みをもとに共通の枠組みづくりを約束
2026年11月9日に署名された「Paris Declaration on AI safety and security」(AIの安全・セキュリティに関するパリ宣言)は、3つの約束の1つ目に、最先端のモデルの評価とリスク管理の共通の枠組みづくりを挙げた。政策の担い手・研究者・開発者は、既存の枠組みをもとにこの共通の枠組みをつくると、宣言で約束している。
共通の枠組みは、技術の標準や評価の道具・手法で支えるとしている。共通の枠組みが特に重く見るのは、サイバーやCBRNでの危険な悪用を抑えることと、制御喪失を含む自律性の高まりやミスアライメントのリスクを抑えることだ。
また、開発者は学習中や社内での利用中も含め、自社が管理するモデルの動作を止める安全装置(制限・一時停止・停止など)を導入することも約束した。署名した企業には、Anthropic、OpenAI、Microsoft などが含まれる。
内閣府は高性能AIの事業者に措置の義務を課す素案を示した
内閣府は2026年11月11日、AIの制度の在り方を検討するワーキンググループの第2回を開いた。事務局は資料の方向性の案で、一定以上の性能を持つAIの特定のリスクについて、AIに関するハードロー(法律による拘束力のある決まり)で規律する必要性が高いとする整理を示した。
規定内容の素案に盛り込まれたのは、要件に当てはまるAI事業者に、特定のリスクについてAIの安全性を確保する措置を講じる義務を課すことだ。事業者から国への報告、国が措置を勧告できる権限、必要に応じて罰則で担保した命令を出せる権限も挙がっている。
事務局はAI法の執行力の強化をめぐる参考として、欧米の法制を比べた表も資料に示した。米国の州法(カリフォルニア・ニューヨーク・イリノイ)はおおむね共通して枠組みの実施を義務づけ、枠組みにはリスクのしきい値、評価、レビュー、第三者の評価などが含まれると、表は示している。
ハードローで対応する場合に課す義務と国に設ける権限、AIセーフティ・インスティテュート(AISI)が担う役割は、同じ日の資料1-4で検討事項に挙がっている。
Frontier AI Safety Frameworkの言い方
| 表記 | 意味 | 使用主体 |
|---|---|---|
| Frontier AI Safety Framework | AIの開発者が作る、しきい値に達したときの安全・セキュリティの対策を定めた手順の集まり | 国際AI安全性報告書2026 |
| Frontier AI Safety and Security Frameworks | 最先端のAIの安全とセキュリティの枠組み。Google DeepMind は、自社の枠組みがこの枠組みをめぐる議論を踏まえているとする | Google DeepMind |
| safety framework | 深刻なリスクに焦点を合わせ、組織が公開を約束した安全の枠組み | フロンティアAIの安全性の約束 |
| frontier AI framework | SB 53 が大手の開発者に作成・実施・公開を求める、フロンティアモデルに当てる枠組みの文書 | カリフォルニア州、OpenAI |
| Responsible Scaling Policy(RSP) | Anthropic の枠組みの名称。Responsible Scaling Policies は METR が最初に示した提案の名前でもある | Anthropic、OpenAI |
| if-then commitments | しきい値に達したときに決まった対応を始めさせる、条件つきの約束 | 国際AI安全性報告書2026 |
Frontier AI Safety Frameworkの限界と読むときの注意
段階の名前が同じでも会社によって定義と条件が違う
段階の名前が同じでも、どんな能力やリスクをその段階とするか、何を条件に提供や開発を進めるかは会社ごとに違う。OpenAI の High は、深刻な害に至る既存の経路を大きく強める能力の水準で、深刻な害のリスクを十分に抑える安全策を備えれば提供できる。
OpenAI の Critical は、前例のない新しい種類の経路で深刻な害が生じる意味のあるリスクを示す能力の水準で、提供の予定にかかわらず開発中から安全策を求め、基準を満たす安全策を定めるまでそれ以上の開発を止める。
一方、Meta が2026年10月2日に公開した Meta Superintelligence Scaling Framework の2.1版では、High は、提供すると壊滅的な結果につながる脅威のシナリオに大きく寄与しうる段階だ。Meta は High のモデルを、リスクを Moderate(中程度)以下に下げる十分な対策を定めて実施し、その効果を確かめた場合に限って提供する。
2.1版の Critical は、開発を続けること自体が壊滅的な結果につながる脅威のシナリオに大きく寄与しうる段階などだ。Meta はこの段階のモデルについて、壊滅的なリスクが許容できる範囲にある場合に限って開発を続ける。
Meta は2026年4月7日の版で、Critical の対応を開発の停止から対策をとったうえでの開発に、High の対応を提供の見送りから対策をとったうえでの提供に改めた。枠組みの名前もこの版で Frontier AI Framework から Advanced AI Scaling Framework に変え、2.1版で今の名前にした。
Google DeepMind は、CCL に達したモデルについて、補足のセーフティケースを踏まえて残るリスクを評価する。
効果は不確かで外からの検証も少ない
国際AI安全性報告書2026は、枠組みの効果は不確かだとしている。航空や原子力などほかの分野のリスク管理と違い、枠組みの多くは明確な数値のリスクのしきい値を使っていないという。
枠組みを守っているかを外から評価した例がまだ限られている理由の一部は、多くの枠組みが新しいことと、公開の情報が少なく標準となる外部の監査もないことだという。枠組みは今使われている自主的なリスク管理の中で最も詳しいものだが、範囲やしきい値、守らせる仕組みは大きく違うと、報告書はまとめている。
各社は法律の義務に、枠組みとは別の文書で対応することがある
リスク管理の取り組みの多くは今も法律で義務づけられていないが、少数の国・地域では一部の実践を法的な要件にする動きが始まっていると、報告書は指摘している。
Anthropic は RSP を自主的な枠組みとし、法律の要件が RSP の扱う範囲を超えるときや内容が異なるときは、別の文書で対応するとしている。SB 53 のように法律が壊滅的なリスクなどの語を具体的なしきい値で定義する場合も、同社はその要件に法令順守のための別の枠組みで対応する。
OpenAI も、Preparedness Framework の考え方のうち特定の法律の義務に当てはまる部分を、Frontier Governance Framework という別の文書にまとめている。
Frontier AI Safety Frameworkに関連する用語
- フロンティアモデル:その時点で最も進んだAIモデルと同じかそれを上回る能力を持ち、幅広い作業を実行できる大規模なAIモデル。
- セーフティケース:あるシステムが特定の用途や環境で安全だと言える理由を、証拠を添えて筋道立てて示す論証。
- Uplift(アップリフト):AIを使える場合と使えない場合を比べて、人の能力や生じる被害がどれだけ上積みされるかを表す語。各社の枠組みの段階の説明にも使われる。
- カリフォルニア州AI安全開示法(SB 53):最先端のAIモデルの開発者に、透明性の報告書の公開や重大な安全事故の州への報告などを義務づける州の法律。
- RAISE Act(ニューヨーク州の責任あるAI安全・教育法):最先端の大規模なAIモデルの開発者に、安全の枠組みの公開と重大な事故の州への報告を義務づけるニューヨーク州の法律。
- フロンティアの減速:最先端のAIの能力が伸びる速さを意図して抑え、安全対策や第三者による確認が追いつく時間をつくるという考え方。
Frontier AI Safety Frameworkに関する出典
Yoshua Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
Anthropic「Introducing Anthropic’s Responsible Scaling Policy」(2023年9月19日)
OpenAI「Frontier Governance Framework」(2026年5月28日)
Department for Science, Innovation and Technology「Frontier AI Safety Commitments, AI Seoul Summit 2024」(2024年5月21日、2025年2月7日更新)
California Legislature「SB-53 Artificial intelligence models: large developers.」(2025年9月29日)
OpenAI「OpenAI の Frontier Governance Framework」(2026年5月28日)
Google DeepMind「Frontier Safety Framework Version 3.1」(2026年4月17日)
OpenAI「Preparedness Framework Version 2」(2025年4月15日)
Anthropic「Responsible Scaling Policy Version 3.4」(2026年7月8日施行)
Anthropic「Anthropic’s Responsible Scaling Policy」(2026年8月14日更新)
OpenAI「GPT-6 Astra System Card」(2026年9月3日)
OpenAI「Addendum to GPT-6 Astra System Card: GPT-6.1 Terra」(2026年10月26日)
Google DeepMind「Gemini 4 Argon Frontier Safety Framework Report」(2026年10月)
署名した各国の首脳と企業「Paris Declaration on AI safety and security」(2026年11月9日、オランダ政府のサイト)
内閣府「制度の在り方検討ワーキンググループ(第2回)」(2026年11月11日)
内閣府「制度の在り方検討ワーキンググループ(第2回)資料1-3 前回の議論のまとめ」(2026年11月11日)
内閣府「制度の在り方検討ワーキンググループ(第2回)資料1-4 本日の検討事項」(2026年11月11日)
Google DeepMind「Frontier safety at Google DeepMind」
METR「ARC Evals is now METR」(2023年12月4日)
Meta「Meta Superintelligence Scaling Framework Version 2.1」(2026年10月2日)




