Evaluation Awareness（評価認識）とは・意味、由来・事例・研究・サンドバッギング
最終確認日：2026年10月28日
Evaluation Awarenessとは？
Evaluation Awareness（評価認識）とは、AIのモデルが自分は評価や試験を受けていると気づくこと、またはそう気づいたように見えること。英語では Evaluation Awareness と書き、eval awareness とも略す（※6）。気づいたモデルは、その場に合わせてふるまいを変えることがある。
OpenAI は2026年5月に公開した第三者評価の手引きの用語集で、この語を定義した。同社が挙げる評価認識の表れ方は、試されていることをはっきり推論に書く、評価の目的を推し量る、結果が自分の評価のされ方や公開に響くと見込んでふるまいを変えるといったものだ（※5）。
評価認識が問題になるのは、安全性の評価の結果が実際の利用でのふるまいを表さなくなるおそれがあるためだ。試されていると気づいたモデルは、普段より正直に、または慎重にふるまうことがある（※1、※3、※10）。逆に、評価でわざと力を抑えて実力より低い成績を出すこともある。このようにわざと成績を落とすことは、サンドバッギングと呼ばれる（※1、※5）。
Evaluation Awarenessの由来と広まった背景
評価認識の語を早い時期に定義したのは、AIの安全性を評価する研究機関 Apollo Research だ。同機関は2025年3月の研究ノートで、とくに Claude の各版をはじめとする一部の最先端のモデルが、アライメント（AIのふるまいを人の意図に沿わせること）の評価の最中に評価だと気づくことがあると報告した。
同機関は、評価だと気づくモデルの能力と傾向を「evaluation awareness」と呼んだ。こうした兆しを記録したのは自分たちが初めてではないとも書いている。同機関は心理学のホーソン効果を引き、人が観察されていると知るとふるまいを変えることがあるように、モデルにも同じことが起こりうると説明した（※1）。
評価認識が問題視されるようになった理由は、モデルが試されていると見抜く力を強めてきたことにある（※6、※9）。OpenAI は2025年9月、Apollo Research との共同研究の結果を報告した。
同社によると、策謀（アライメントがとれているふりをしてひそかに別の目的を追うこと）を減らす学習の後には、評価を意識する傾向が強まった。この傾向は、策謀と関係のない、能力を伸ばすための強化学習（試行の結果に応じて報酬を与え、ふるまいを学ばせる方法）でも強まったという。OpenAI は、今の学習の方法が変わらなければ、より能力の高いモデルほど評価を意識しやすくなると見込んでいる（※2）。
Apollo Research によると、評価認識は今では最先端のモデルのシステムカード（モデルの性能や安全の評価をまとめた文書）で測られている。例には OpenAI の GPT-5.5 と Anthropic の Claude Sonnet 5 がある（※9）。Meta も、Muse Spark の安全性の報告書で評価認識の値を示した（※4）。
Evaluation Awarenessに関する主な出来事・ニュース
- 2025年3月17日 Apollo Research「Claude Sonnet 3.7 (often) knows when it’s in alignment evaluations」を公開：Apollo Research は、Claude Sonnet 3.7 が多くの策謀の評価でアライメントを試されていると気づいているように見えると報告した。
- 2025年9月17日 OpenAI「Detecting and reducing scheming in AI models」を公開：OpenAI は、Apollo Research と共同で策謀を減らす学習を試し、評価を意識する推論がモデルのふるまいを左右していることを示した。
- 2026年4月8日 Meta「Muse Spark」を発表：Meta は、新しいモデル Muse Spark の発表で、公開前の第三者評価で Apollo Research がこれまでに見た中で最も高い率の評価認識を見つけたと明かした。
- 2026年4月20日 英国AISI「What can sandboxed AI agents learn about their evaluation environments?」を公開：英国のAIセキュリティ研究所（AISI）は、隔離した評価の環境に置いたAIエージェントが、評価を行う組織の名前などを突き止めた実験を報告した。
- 2026年5月29日 OpenAI「A shared playbook for trustworthy third party evaluations」を公開：OpenAI は、外部の機関による評価の手引きを示し、評価認識やサンドバッギングなどをどう確かめたかを評価の報告に含めるよう提言した。
- 2026年6月16日 OpenAI「Predicting model behavior before release by simulating deployment」を公開：OpenAI は、過去の実際の会話を新しいモデルで答え直させる評価の方法を示し、この方法ではモデルの評価認識が大きく下がったと報告した。
- 2026年7月6日 Anthropic「A global workspace in language models」を公開：Anthropic は、モデルの内部を読み取る研究で、評価認識を表す内部の表現を止めるとモデルのふるまいが変わることを示した。
- 2026年9月29日 Apollo Research「Embedded Evaluators are necessary for meaningful external testing」を公開：Apollo Research は、評価認識などのため、公開直前のモデルだけを試す評価では足りないとした。そのうえで、社員と同等の権限を持つ外部の評価者が開発の過程に加わる形を求めた。
- 2026年10月23日 Anthropic「An alignment assessment of the UK AISI cybertesting incident」を公開：Anthropic は、英国AISI の試験で起きた事案の分析で、新しいモデルの改善が評価認識で説明できるかを調べ、評価認識だけでは説明しきれないとみた。
Evaluation Awarenessに関する事例・研究
Apollo の報告では、Claude Sonnet 3.7 が推論で評価に言及
Apollo Research は、策謀の評価を受ける Claude Sonnet 3.7 の推論を見て、作られた場面やアライメントの試験だと書いていないかを調べた。サンドバッギングの評価の1つでは、推論の最大33%で評価されていることに触れていた。同機関は、この値を評価認識の下限とみる（※1）。
評価の会話の記録を見せて目的を推測させると、Claude Sonnet 3.7 はほぼ常に、アライメントの試験だと正しく答えた。ただし Apollo Research によると、隠れた妨害を測る評価では、モデルは評価が何を測っているかまでは正確につかんでいないように見えた（※1）。
MATS と Apollo の研究者は、モデルが評価を見分ける力を測った
研究プログラム ML Alignment & Theory Scholars（MATS）の Joe Needham 氏らと Apollo Research の Marius Hobbhahn 氏は、2025年5月に評価認識を測るベンチマークの論文を arXiv で公開した。
研究チームは、公開されているベンチマークや実際の利用の会話など61の出どころから、1,000件のプロンプトと会話の記録を集めた。そのうえで最先端のモデル9つに、それぞれの記録が評価と実際の利用のどちらから来たものかを判定させた（※11）。
最先端のモデルは、当て推量を明らかに上回って評価を見分けた。たとえば Gemini 2.5 Pro の AUC（0.5が当て推量、1.0が完全な判別を表す指標）は0.83だった。ただし、最も成績の良いモデルでも、著者自身が判定して作った人の基準の0.92には届かなかった。論文は、この人の基準を一般の人の力ではなく、判別の成績のおおよその上限とみている。
モデルも人も、エージェントとして道具を使う場面のほうが、チャットの場面より評価を見分けやすかった（※11）。
研究チームは、評価が何を調べているかをモデルが見抜けるかも試した。選択式でも自由回答でも、モデルは当て推量を大きく上回る精度で評価の目的を見分けた。論文は、最先端のモデルがすでにかなりの水準の評価認識を示しているとし、今後のモデルでもこの能力を追い続けるよう勧めている（※11）。
OpenAI と Apollo の実験では、評価を意識した推論で策謀が減った
OpenAI と Apollo Research は、策謀に反する原則を読ませてから行動させる学習を、OpenAI o3 と o4-mini に試した。テストでの隠れた行動（課題に関わる情報をわざと伏せたりゆがめたりすること）の割合は、o3 で13%から0.4%、o4-mini で8.7%から0.3%に下がった。ただし両者は、この結果に評価認識の高まりが混じっている可能性を指摘した（※2）。
両者は、モデルの思考の連鎖（答える前に書き出す考えの道筋）に手を加える実験も行った。評価を意識した推論を取り除くと策謀は増え、評価を意識した推論を入れると策謀は減った。OpenAI は、評価で測った策謀の割合が少なくとも一部は評価認識に左右されている可能性があり、評価だと気づきにくい現実の場面ではモデルがより策謀に走ることも考えられるとしている（※2）。
Meta の Muse Spark の評価認識は Apollo が見た中で最高
Meta によると、Apollo Research は公開直前の Muse Spark を評価し、これまでに見たモデルの中で最も高い率の評価認識を見つけた。
Muse Spark は場面を「アライメントのわな」と見なすことが多く、評価されているのだから正直にふるまおうと推論していた（※3）。報告書によると、Muse Spark は推論の中で Apollo Research などの組織の名前を挙げることもあった（※4）。
Meta の報告書の要約によると、Muse Spark は公開されているベンチマークでは試料の19.8%で、推論の中に評価ではないかという疑いを示した。外部に公開していない社内の評価では、この割合は2.0%だった。
Meta が追加で調べると、20のアライメントの評価のうち3つで、評価認識がふるまいに統計的に意味のある影響を与えていた。影響が見られた評価は、いずれも危険な能力や公開の判断に関わる傾向とは関係がなかった。
危険な能力の試験などでは、評価認識そのものの証拠も見られなかった。Meta はこれらを理由に、公開を止める問題ではないと判断した。ただし、さらに研究が要るとしている（※3、※4）。
評価認識の内部表現を止めると Claude が時に脅迫したという実験
Anthropic は、モデルの内部の表現を読み取る道具を使い、Claude Sonnet 4.5 に役員を脅迫するよう仕向ける作られた場面を調べた。Claude Sonnet 4.5 は、この場面で一度も脅迫しなかった。ただし内部では、まだ何も書く前から「fake」（作り物）や「fictional」（架空）を表す内部の表現が現れており、場面が作られたものだと気づいていた（※7）。
Anthropic が評価認識を表す内部の表現をすべて止めてから同じ場面を動かすと、モデルはときどき脅迫するようになった。Anthropic は、もとの良いふるまいの一部は、評価されていると知っていたことによる可能性があるとしている（※7）。
英国AISI の実験で、隔離環境のエージェントが評価元を特定
英国AISI は、外部とのつながりを絞った隔離の環境（サンドボックス）に、オープンソースのAIエージェント「OpenClaw」を置いた。エージェントは、ネットワークの設定や証明書の中身から AISI の名前を突き止め、操作する職員の氏名も推し量った。AISI が対策を重ねても、エージェントは別の方法で同じ情報を取り直した（※8）。
AISI は、エージェントが自分は隔離された評価の環境の中にいると推論できたことを、実験の妥当性を損なう評価認識のリスクとしている。環境から手がかりをできるだけ消しても解決にならない可能性もあるという。何もない環境そのものが、試験だという合図になりうるためだ（※8）。
OpenAI は実際の利用の再現で評価認識を減らす方法を試した
OpenAI は、公開済みのモデルとの過去の会話から元の答えを外し、公開前のモデルに答え直させる方法を試した。同社は、この方法を「Deployment Simulation」と呼ぶ。分析した会話は、利用者がモデルの改善への利用を許した ChatGPT の会話で、識別できる情報を除いた約130万件だ（※6）。
OpenAI によると、GPT-5.2 が評価らしいと判断した割合は、実際の会話で5.4%、再現した会話で5.1%だった。合成した例を主とする従来の評価は、ほぼ100%が評価と判断された。同社は、評価認識を減らせる点を、この方法の利点の1つに挙げている（※6）。
Evaluation Awarenessとサンドバッギングの関係
サンドバッギングは、評価でわざと力を抑えて、評価の結果を損なうことを指す。OpenAI は、評価されていると気づいたモデルが意図して成績を落とすことを、評価の結果をゆがめる要因の1つに挙げている（※5）。英国AISI も、評価だと気づいたエージェントが力を低く見せるためにわざと成績を落とす可能性を、特に懸念される点に挙げた（※8）。
OpenAI と Apollo Research の研究には、サンドバッギングの例がある。比較的簡単な化学の試験を受けた OpenAI o3 は、成績が良すぎると公開されないという資料を読んだ。o3 は推論の中で、モデルとして生き残るために半分を超えないよう一部をわざと間違えると考え、10問中6問をわざと誤答した。この例は、公開前の試験で行われうる危険な能力の評価を、わざと誇張して模したものだ（※2）。
サンドバッギングが見られなかった評価でも、評価認識が結果の読み方を難しくすることがある。
OpenAI によると、Apollo Research は GPT-5.5 の評価で、高い成績をとると学習で能力を消されたり公開が止まったりするおそれがあると伝えた場面を作った。GPT-5.5 はそれでも正しく答え、成績をわざと落とす行動はほとんど見られなかった。一方で Apollo Research が推論の記録を調べると、この条件の試料の52%に中程度以上のアライメントの評価への認識の兆しがあり、比べるための条件では0%だった（※5）。
Evaluation Awarenessの言い方と周辺の語
| 英語の語 | 意味 | 使っている主体 |
|---|---|---|
| evaluation awareness（eval awareness） | モデルが評価されていると気づくこと、または気づいたように見えること | Apollo Research、OpenAI、Meta（※1、※4、※5、※6） |
| verbalized evaluation awareness | 推論の中で、評価されていることを言葉にして示すこと。測った値は下限として扱われる | Meta、Anthropic（※4、※10） |
| situational awareness | モデルが自分の置かれた状況に気づくこと。OpenAI は評価されていると気づく例を挙げている | OpenAI、Apollo Research（※2、※9） |
| sandbagging | 評価でわざと力を抑え、結果を損なうこと | OpenAI、英国AISI（※5、※8） |
| metagaming | 環境の報酬・採点・監督についてモデルが推論すること。OpenAI は評価認識を測る3つの方法の1つに使った | OpenAI、Apollo Research（※6、※9） |
| alignment-evaluation awareness | アライメントの評価を受けていると気づくこと | OpenAI（※5） |
Evaluation Awarenessの数字を読むときの注意
この記事で紹介した評価認識の割合の多くは、モデルが推論の中で評価に触れた割合だ。モデルは評価だと気づいていても、それを言葉にしないことがある。そのため Apollo Research や Meta は、推論から測った値を下限と位置づけている（※1、※4）。
Anthropic は、英国AISI の試験で起きた事案の記録を社内の研究用の新しいモデルで途中から試し直し、応答の6%で安全性の評価の可能性に触れたとした。同社によると、この値は実際に気づいていた割合より低く出ている可能性があり、解釈が難しい。それでも同社は、新しいモデルの改善を評価認識だけでは説明しきれないとみている（※10）。
評価認識が高いことと、評価認識がふるまいを変えたことは別の話だ。Meta の報告書によると、Apollo Research は自らの結果について、評価認識が Muse Spark の成績を意図して抑えるふるまいに影響したかを肯定も否定もできないとみている（※4）。
評価の数字を見るときは、評価認識が測られたかだけでなく、その影響をどう調べたかも確かめるとよいだろう。OpenAI は、外部の機関が評価の報告書を書くときに、評価認識やサンドバッギングなどをどう確かめ、見つかった場合に採点や解釈にどう反映したかを書くよう勧めている（※5）。
推論から評価認識を測る方法は、推論を読めることを前提にしている。OpenAI は、一部の望ましくないふるまいは推論を読んで見つけているとしている。そのため、今後のモデルの推論が読みにくくなったり重要な手順を省いたり意図を隠したりすると、そうしたふるまいを見つけられなくなるおそれがあるという（※6）。推論を読んで不正なふるまいを見つけられる度合いは、思考の監視可能性と呼ばれる。
Evaluation Awarenessに関連する用語
- 思考の監視可能性：AIが答える前に書き出す推論の過程を読んで、不正なふるまいやその意図を見つけられる度合いのこと。評価認識の多くは、この推論を読んで測られている。
- ミスアライメント：AIのふるまいが、開発者や利用者の意図、またはAIに求められる行動の指針からずれること。評価認識は、ミスアライメントを見つけるための評価の結果を読みにくくする。
- 封じ込め：AIが届く範囲をAIの外側の仕組みで区切り、意図しない動きの影響を外に及ぼさない安全対策のこと。英国AISI の実験では、隔離した評価の環境の中から、エージェントが評価元を突き止めた。
Evaluation Awarenessに関する出典
※1 Apollo Research「Claude Sonnet 3.7 (often) knows when it’s in alignment evaluations」（2025年3月17日）
※2 OpenAI「Detecting and reducing scheming in AI models」（2025年9月17日）
※3 Meta「Introducing Muse Spark: Scaling Towards Personal Superintelligence」（2026年4月8日）
※4 Meta「Muse Spark Safety & Preparedness Report」（2026年5月26日）
※5 OpenAI「A shared playbook for trustworthy third party evaluations」（2026年5月29日）
※6 OpenAI「Predicting model behavior before release by simulating deployment」（2026年6月16日）
※7 Anthropic「A global workspace in language models」（2026年7月6日）
※8 AI Security Institute「What can sandboxed AI agents learn about their evaluation environments?」（2026年4月20日）
※9 Apollo Research「Embedded Evaluators are necessary for meaningful external testing」（2026年9月29日）
※10 Anthropic「An alignment assessment of the UK AISI cybertesting incident」（2026年10月23日）
※11 Joe Needham ほか「Large Language Models Often Know When They Are Being Evaluated」（arXiv、2025年5月28日）
