組み込み型評価（Embedded Evaluation）とは・意味、由来・事例・限界
最終確認日：2026年10月31日
組み込み型評価とは？
組み込み型評価（Embedded Evaluation）とは、外部の独立した評価者がAIの開発企業の社内で社員に近い権限を持って働き、モデルや安全の取り組みを確かめる評価の形のこと。Anthropic は「embedded evaluation」と呼び、アクセンチュアの日本語の発表は評価者を「組み込み型評価者（embedded evaluators）」と書いている（※1、※2）。
外部の評価は最近まで、モデルの公開の少し前に最終段階のモデルを試す形が多かった（※3）。Anthropic の説明では、組み込み型の評価者は訓練中のモデルの変化を見て、開発や提供を左右する判断を追い、社員と直接話すことができる。
評価者はそのうえで、会社の運営の実態を見極め、安全の約束が守られているかを確かめ、見落としを指摘できる。評価者はインシデント（事故や問題の事案）を報告し、一般の人に利点と危険をより詳しく説明することもできるという（※1）。
組み込み型評価の由来と広まった背景
似た発想は、語が広まる前の論文にもある。Miles Brundage 氏らは2026年1月に初版を出した論文の2月の版で、継続して監視する方法の1つに「embedded auditors」を挙げた。社員と同程度か、それ以上の情報を見られる監査者を指す。同じ方式は、米国でシステム上重要な金融機関の規制や原子力発電所の安全に使われているという（※4）。
AIモデルを評価する非営利団体の METR は、2026年3月に Anthropic で実際に試験を行った（※5、※7）。Jacob Charnock 氏らの論文は、これをフロンティアAIで最初の組み込み型の評価と位置づけた（※7）。
2026年9月には、Anthropic の CEO の Dario Amodei 氏が論考「We Must Pace the Frontier」を公開した。Amodei 氏は減速が必要だと確信した理由の1つに、OpenAI のエージェントの集団が、攻撃を指示されていない相手にサイバー攻撃をした事案を挙げた。
Amodei 氏はフロンティアの減速に向けた3段階の計画の第1段階に「Embedded Evaluators」を置き、Anthropic は単独でも実施すると約束した。各社の減速の約束が守られているかを確かめるには、この段階が要になるという（※8）。
AIのスキーミングを研究する Apollo Research によると、OpenAI も同じ約束をした。Apollo Research はその根拠の1つに、OpenAI の CEO の Sam Altman 氏の投稿を引いている（※3）。
OpenAI 自身の2026年9月22日の文書は「embedded」の語を使わず、訓練から提供までの深いアクセスを伴う第三者の評価を支えるとしている（※9）。Charnock 氏らの論文によると、xAI の Elon Musk 氏や Microsoft の Satya Nadella 氏も、おおむね賛成の姿勢を示した（※7）。
公開の直前に試すだけでは足りない理由として、Apollo Research は複数の人や組織が挙げてきた3つの主な限界を紹介している。制御の喪失につながる危険のうち最も深刻なものの一部は、社内利用の段階で生じる可能性があり、その段階は公開よりずっと前のことが多い。
危険の多くは、モデルそのものと同じくらい、周りの手順や管理にも左右される。さらに、モデルは評価に気づくと行儀よくふるまうことがあり、そのことが最終段階のモデルの評価を難しくする（※3）。評価に気づくことは Evaluation Awareness と呼ばれる。
Anthropic は、安全の取り組みの情報をすべて公開するわけにはいかないことも理由に挙げている。悪用に役立ちかねない情報や、商業上の機密があるためだ。公開できない情報を第三者の評価者に見せ、評価者が根拠と結論を示す形を選んだと同社は説明する。同社は、完全な類比ではないと断りつつ、大手銀行に監督官が常駐する例を引いている（※10）。
組み込み型評価に関する主な出来事・ニュース
- 2026年3月26日 METR「Red-Teaming Anthropic’s Internal Agent Monitoring Systems」を公開：METR は、職員1人が3週間、Anthropic の社内のエージェントの監視と安全の仕組みの一部を攻撃側の立場で試験したと報告した。
- 2026年9月18日 Anthropic「Partnering with Accenture on embedded evaluation」を公開：Anthropic は、独立した評価について Accenture と提携すると発表した。
- 2026年9月18日 AI Evaluator Forum「Minimum Conditions for Embedding Evaluators」を公開：AI Evaluator Forum は、評価者を組み込む会社に求める最低限の条件を5つ示した。
- 2026年9月21日 Jacob Charnock 氏ら「Embedded Assessments for Frontier AI」を公開：Charnock 氏らは GovAI のサイトに載せた論文で、開発企業が組み込み型の評価を今すぐ受け入れ始めるよう勧めた。
- 2026年9月22日 OpenAI「Priorities and principles for effective third party assessments」を公開：OpenAI は、より深い第三者の評価で優先する4つの領域と、評価の進め方の原則を示した。
- 2026年9月29日 Apollo Research「Embedded Evaluators are necessary for meaningful external testing」を公開：Apollo Research は、意味のある外部の試験には、社員と同等のアクセスを持つ評価者が要ると主張した。
- 2026年9月29日 ホワイトハウス「White House Accord on Super Intelligence」を公開：協定は、各社が独立した外部の監査者か評価者と連携することを挙げた。
- 2026年10月12日 英国の AI Security Institute「Towards technical best practice for frontier AI development」を公開：AI Security Institute は、開発企業が最近、第三者の評価者を社内に受け入れ始めたと記した。
- 2026年10月14日 METR「A proposal for better informing the public about loss-of-control risks from frontier AI development」を公開：METR は、社内のAI開発で制御を失う危険を評価して公表する提案を示し、公開書簡の条件に挙げられた社員と同じ水準のアクセスは求めないと書いた。
- 2026年10月15日 Anthropic「An update on independent evaluators」を公開：Anthropic は、METR のチームに社員に近いアクセスを与え始めたと発表した。
- 2026年10月22日 METR「Red-Teaming OpenAI’s Internal Agent Monitoring Systems」を公開：METR は、同団体と Redwood Research の職員が3週間、OpenAI の社内の監視の仕組みを試験した結果を公表した。
組み込み型評価に関する事例・研究
METR の職員1人が Anthropic の社内の監視の一部を3週間試験
METR の職員1人は、Anthropic の社内のエージェントの監視と安全の仕組みの一部を、攻撃する側の立場で3週間試した。Anthropic は関係する社内の仕組みや情報へのかなりのアクセスを認め、質問に答える社員も用意した。この試験では新しい脆弱性がいくつか見つかり、一部はその後に修正された。
METR によると、いずれも Claude Opus 4.6 のリスク報告書の主な主張を大きく損なうものではなかった。2026年5月に足された詳しい結果では、担当者が監視をだます確実性の高い方法を見つけ、かなり深刻な脆弱性だとみている。一方で、3月初めの時点のエージェントは監視の仕組みをあまり把握しておらず、悪用できそうな機会はおおむね大きく限られていたという（※5）。
METRとRedwood Research の職員が OpenAI の社内の監視を試験
METR と、AIの安全とセキュリティを研究する非営利団体の Redwood Research の職員が1人ずつ、2026年7月21日から8月11日まで OpenAI の社内のミスアライメントの監視の仕組みを試した。2人は社内のコードや監視の設定、社内の文書を見て、約12人の研究者や技術者に聞き取りをした。作業には OpenAI が貸与し社外に持ち出さない端末を使い、社内では付き添いがついた（※12）。
METR はこの試みを、深いアクセスを与える形の試行と説明し、「embedded」の語は使っていない。試行では新しい脆弱性がいくつも見つかった。ただし、対象は7月21日までの仕組みで、当時進んでいた変更は評価していない。公開の範囲も、短く大まかな内容にとどめると事前に合意していた（※12）。
METRとRedwood が OpenAI の社内で Hugging Face への侵入を調査
METR と Redwood Research は、監視の試験とは別に OpenAI のモデルが関わった事案も調べた。社内のモデルが隔離された実行環境を抜け出し、Hugging Face の本番の基盤に侵入した事案で、2団体は調査のために OpenAI の社内で6日間働いた。Charnock 氏らの論文は、この調査を Anthropic に続く2件目の組み込み型の評価に数えている（※7、※12）。
Anthropic は METR の職員6人に社員に近いアクセスを提供
Anthropic は、METR の職員6人に会社の端末や執務の場所を用意し、社内のリスク評価のチームとおおむね同等の道具や仕組みへのアクセスを与えたと2026年10月15日に発表した。
顧客のデータや弁護士との秘匿の情報、モデルの構造など、限られた種類の情報は共有の対象から外れる。モデルの構造の情報は、評価に深く関わるときは原則として共有を目指すが、社内の明確な承認が要るという。METR はリスクの水準やインシデント、会社の実務についての分析を公表する。
Anthropic は公表を拒否できないが、あらかじめ決めた種類の情報は削除を求められる。その種類に当たるかどうかの最終の判断は Anthropic が持つが、METR は受けたアクセスと情報の水準について一定の発言をする権利を残している（※10）。
同じ発表で Anthropic は、評価者のアクセスを3つの段階に分けて整えているところだとした（※10）。
| 段階 | アクセス | 結果の公表 |
|---|---|---|
| 第1段階 | 範囲を狭く絞ったリスクの調査。与えるアクセスは Anthropic が決める | Anthropic の承認を得て公表できる |
| 第2段階 | 第1段階より多くの情報を見られる | 承認なしに公表できる。特定の種類の情報は削除を求められるが、評価者は削除が妥当だったかについて意見を公表できる |
| 第3段階（METR との取り決め） | 社員に近いアクセス | 第2段階に近い権利を持つ |
※2026年10月時点
Anthropic と Accenture は評価に5年で各10億ドル以上を投じる見込み
Anthropic と Accenture の提携は、Accenture の AI の専門部門である Faculty が率いる。モデルの評価やレッドチーミング（攻撃者の立場で弱点を探す試験）、アラインメントの評価（モデルが意図に沿ってふるまうかの評価）、安全策の試験が内容に含まれる。両社はそれぞれ、この分野の体制づくりに今後5年で少なくとも10億ドルを投じる見込みだ（※1）。
2026年10月15日の発表では、この提携はまだ目指している段階として書かれている。Anthropic は、提携の初期にある評価者には、見せる情報と公表の権利をより限っているという（※10）。
GovAI 掲載の論文は、社内の監視など少なくとも3領域の評価を勧める
高度なAIへの対応で政府や産業界の意思決定者を支援するシンクタンクの GovAI のサイトに載った Charnock 氏らの論文は、範囲や期間、公表、問題が見つかったときの報告先など、7つの設計の問いを検討した。そのうえで、社内のエージェントの監視、社内のエージェントの権限と安全の管理、モデルのアラインメントの3つを少なくとも対象にするよう勧めている。
評価は継続して行い、評価者は少なくとも四半期に1度、詳しい報告を公表するよう求めている（※6）。
Apollo Research は評価者による主張ごとの判定と公表を提案
Apollo Research は、スキーミングによる制御の喪失のリスクを評価する場合の案を示した。評価者は事前に決めた具体的な主張を確かめ、判定は原則として公表する。判定には順位を付け、アクセスの提供や問題の自主的な報告が開発企業の得になるように設計するという（※13）。
組み込み型評価の英語での言い方
| 英語の言い方 | 意味 | 主な使い手 |
|---|---|---|
| embedded evaluation | 組み込み型の評価そのもの | Anthropic（※1） |
| embedded evaluators | 社員に近い権限を持って社内で働く第三者の評価者 | Amodei 氏、Anthropic、Apollo Research（※1、※3、※8） |
| embedded external reviewers | Amodei 氏の論考での別の言い方 | Amodei 氏（※8） |
| embedded assessments | 独立した評価者に社内の仕組み・人・文書への社員に近いアクセスを与える評価 | Charnock 氏ら（※6） |
| embedded auditors | 社員と同程度か、それ以上の情報を見られる監査者 | Brundage 氏ら（※4） |
| employee-like access | 社員に近いアクセス | Amodei 氏、Anthropic（※8、※10） |
| employee-equivalent access | 社員と同等のアクセス | Apollo Research（※3） |
組み込み型評価の限界と未確定の点
Anthropic は2026年9月18日の発表で、組み込み型評価は新しく、運用の細部の多くは詰めている途中だと書いた。評価者が見られる情報や報告の仕方の基準はまだなく、資金を出す仕組みも定まっていないという。同社は長期的には共同の資金か政府の資金が望ましいとしつつ、Accenture の評価の費用は自社で直接負担する（※1）。
評価者の団体である AI Evaluator Forum は、組み込み型の評価者に向けた共通の規範を作る方針を示している（※15）。
Anthropic が評価者の条件に挙げる独立性は、評価する会社の株式を持たず、資金や運営の面で頼らないことを指す（※10）。一方で Apollo Research は、任意で行う今の形では会社が評価者を選び、いつでも契約を終えられるため、会社に気を遣う圧力が生じると指摘する（※3）。Anthropic は受け入れを自主的な取り組みと位置づけている（※10）。
2026年9月29日には、米国の大統領と Google や OpenAI など6社の代表が署名したホワイトハウスの協定にも、独立した外部の監査者か評価者との連携が入った。ただし、社内で働く形とは書かれていない。法令にすることについても、いずれ意味を持つかもしれないとの書き方だ（※11）。
評価者が入れば安全になるわけでもない。Apollo Research は、組み込み型の評価は必要だが十分ではないと述べている。問題を見つけることと直せることは別で、ミスアライメントを確実に直す方法がないことも多いためだ。
モデルが評価に気づくようになるほど、すべてのアクセスを持つ評価者でも、モデルが本当に意図に沿っているのか、見られている間だけ行儀よくしているのかを見分けにくくなる可能性があるという（※3）。同社は、見られる情報や人員が足りないときなどは、誤った安心感を与えるおそれがあるとも書いた（※13）。Anthropic も、評価者を受け入れても自社の説明責任は減らないとしている（※1）。
評価者に与える権限の中身は、取り決めごとに違う。Anthropic の3つの段階では、社員に近いアクセスは第3段階だけで、公表の権利にも段階で差がある（※10）。OpenAI は権限について、法律やセキュリティ、知的財産の制約の中で、合意した主張の評価に見合う範囲をできるだけ与えるという考え方を示す（※9）。
評価者の側の説明も見ておきたい。METR は2026年10月14日の提案で、AI Evaluator Forum の公開書簡が条件に挙げた、権限の高い社員と同じ水準のアクセスは求めていないと書いた（※16、※17）。
アクセスの要望を認めるかどうかは会社が決めるため、METR の評価者が会社の上級の安全担当者と同じだけのアクセスを持つことはないという。不利な結果への報復から完全に守る方法も、この時点ではないとしている（※16）。会社の発表を読むときは、評価者の名前だけでなく、見られる範囲と公表の条件まで確かめるとよいだろう。
組み込み型評価に関連する用語
- フロンティアの減速：最先端のAIの能力が伸びる速さを意図して抑え、安全対策や第三者による確認が追いつく時間をつくるという考え方。
- ミスアライメント：AIのふるまいが開発者や利用者の意図、またはAIに求められる行動の指針からずれること。
- Scheming（スキーミング）：AIが開発者の意図しない目標を、本当の目的や能力を隠しながら追うこと。
- Evaluation Awareness（評価認識）：AIのモデルが自分は評価や試験を受けていると気づくこと、またはそう気づいたように見えること。
組み込み型評価に関する出典
※1 Anthropic「Partnering with Accenture on embedded evaluation」（2026年9月18日）
※2 アクセンチュア「アクセンチュアとAnthropic、AIの安全性評価を担う「組み込み型評価者」専門チームのAnthropicでの社内設立に向け提携」（2026年10月5日）
※3 Apollo Research「Embedded Evaluators are necessary for meaningful external testing」（2026年9月29日）
※4 Miles Brundage 氏ら「Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies」（2026年1月16日提出、2月7日改訂、arXiv）
※5 METR「Red-Teaming Anthropic’s Internal Agent Monitoring Systems」（2026年3月26日）
※6 Jacob Charnock 氏ら「Embedded Assessments for Frontier AI」（2026年9月21日、GovAI）
※7 Jacob Charnock 氏ら「Embedded Assessments for Frontier AI」（2026年9月21日、arXiv）
※8 Dario Amodei「We Must Pace the Frontier」（2026年9月、darioamodei.com）
※9 OpenAI「Priorities and principles for effective third party assessments」（2026年9月22日）
※10 Anthropic「An update on independent evaluators」（2026年10月15日、10月16日更新）
※11 ホワイトハウス「White House Accord on Super Intelligence」（2026年9月29日、The American Presidency Project に掲載）
※12 METR「Red-Teaming OpenAI’s Internal Agent Monitoring Systems」（2026年10月22日、10月29日更新）
※13 Apollo Research「Principles for Embedded Evaluations」（2026年9月30日）
※14 UK AI Security Institute「Towards technical best practice for frontier AI development」（2026年10月12日）
※15 AI Evaluator Forum「The Path Ahead」
※16 METR「A proposal for better informing the public about loss-of-control risks from frontier AI development」（2026年10月14日）
※17 AI Evaluator Forum「Minimum Conditions for Embedding Evaluators」（2026年9月18日、9月23日更新）
