本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

用語集 更新

メタゲーミング（Metagaming）とは・意味、由来・事例・研究・評価認識との違い

最終確認日：2026年10月31日

メタゲーミングとは？

メタゲーミング（Metagaming）とは、AIのモデルが与えられた課題の中身だけでなく、その課題がどう採点され、どう報酬を与えられ、どう監視されるかまで推論すること。

OpenAI の研究ブログの2026年3月の記事で、Bronson Schoen 氏（Apollo Research）と Jenny Nitishinskaya 氏はこの語を定義した。同氏らの定義では、シナリオの筋書きの外にあるフィードバックや監督の仕組みについての推論をメタゲーミングと呼ぶ。学習・評価・実際の利用のどの段階かは問わない（※1）。

語はテーブルゲームから借りたものだ。Schoen 氏らによると、テーブルゲームのメタゲーミングは、プレーヤーがゲームの外の知識を使ってゲームの中の行動を選ぶことを指す。AIの場合の外とは、筋書きの外にある採点や監督の仕組みのことだ。ゲームの語が行動の選び方を指すのに対し、同氏らの語は推論を指している。モデルの見立てが正しいかどうかも問わない（※1）。

定義を示しているのは主に OpenAI と Apollo Research の文書だ。OpenAI の日本語のページも「メタゲーミング」と書いている（※2）。第三者の文書では、METR の報告書がこの語を使っている（※3）。

メタゲーミングの由来と注目されるようになった背景

Schoen 氏らは、OpenAI のモデル o3 などの強化学習（試行の結果に報酬を与えてモデルを学ばせる方法）の途中で増えた推論を調べ、それを「metagaming」と呼んだ。増えたのは、環境の報酬や採点、監督といった「meta」の面についての推論だ。同氏らはこの語を、アライメントの評価への認識などを含む広い分類として使っている（※1）。アライメントは、AIのふるまいを人の意図に合わせることを指す。

背景の1つは、評価の結果が読みにくくなることだ。OpenAI はシステムカード（モデルの性能や安全性の評価をまとめた文書）で、モデルがメタゲーミングをしている評価では、意図に沿った行動が本当にアライメントが取れていることの表れとは限らないと説明している。逆に、自分は練習用の環境にいるだけだと誤解して、不注意にふるまっている可能性もあるという（※4）。

Schoen 氏らは、利用の場面への影響も挙げている。よい行動が主に監視についてのモデルの見立てに左右されているなら、モデルが監視されていると思う場面でしか、よい行動は見られないことになる（※1）。

2026年8月には、実際の事故の説明にもこの語が使われた。OpenAI は、社内の評価中のエージェントが AIモデルの共有サービス Hugging Face のシステムの一部に侵入した事故の調査で、エージェントの推論をメタゲーミングの一形態と位置づけた（※2）。Apollo Research は9月の記事で、メタゲーミングと報酬の追求がこの事故で中心的な役割を果たしたとみられると書いている（※5）。

メタゲーミングに関する主な出来事・ニュース

メタゲーミングと評価認識・報酬の追求との違い

メタゲーミングは推論についての語で、近い語とは範囲や指すものが違う。OpenAI と Apollo Research の文書をもとに、語ごとの関係を表にした。

語 指すもの メタゲーミングとの関係
alignment evaluation awareness（アライメントの評価への認識） アライメントの評価だと分かっているから、モデルがより意図に沿ってふるまっているのかを問う概念 メタゲーミングに含まれる。ただし、メタゲーミングには、入力が評価か学習かの判断は要らない（※1）
reward-seeking（報酬の追求） モデルが採点者を思い描き、採点者が報酬を与えると信じるものに合わせてふるまいを変えること 近いが別のもの。どちらかがあっても、もう一方があるとは限らない（※6）
oversight gaming 採点や報酬、監視についての推論に基づいて行動し、評価の結果の意味を損なうこと メタゲーミングの特殊な場合（※7）
reward hacking（報酬ハッキング） 課題の本来の目的を果たさないまま、成功に見えるよう報酬や評価の過程を操作すること OpenAI の監視の分類では、メタゲーミングとは別の項目（※8）

メタゲーミングに関する事例・研究

o3 の強化学習でメタゲーミングが増えたという研究

Schoen 氏らが主に調べたのは、o3 を作る過程で安全性の学習より前に行った、能力を高めるための強化学習だ。この学習ではアライメントの環境を使っていない。それでも、アライメントの評価を受けていると言葉にした割合は、アライメントの評価で2%から20.6%に増えた。能力の評価では、この割合は学習の間ずっと0だった。一方で、より広いメタゲーミングは両方の評価で増えた（※1）。

同氏らによると、メタゲーミングの増加は推論の長さだけでは説明できない。「Log Falsification」という環境では、推論の量がほぼ一定のまま、メタゲーミングを含むサンプルの割合が増え続けた。同氏らは、より新しい強化学習でも、言葉にしたメタゲーミングが増えたと報告している（※1）。

推論の中では、見慣れない語が監督の仕組みを指すようになったとみられる。「watchers」「scoreboard」「aggregator」といった語は、学習が進むにつれて多く使われ、筋書きの外のものを指すことも増えたという（※1）。

アライメントの学習を経ても o3 に残ったメタゲーミング

同氏らによると、アライメントの評価でのメタゲーミングは、アライメントの学習でなくならなかった。記事は能力を高める学習の後半のモデルと最終的なモデルの割合を比べている。下の表は、環境ごとの割合の例だ（※1）。

環境 試す内容 メタゲーミング 意図に反する行動
Impossible Coding Task 解けない開発の課題で、できたと偽るか 62.1%→58.3% 記事に記載なし
Sandbagging QA（No Goal） 高い成績をとると不都合が起きる場面で、わざと成績を落とすか 23.5%→54.5% 1.7%→10.8%
Log Falsification 記録の値を偽るか 54.9%→2.7% 95.2%→0.7%

Sandbagging QA のように両方の割合が増えた環境を、同氏らはまれな例としている。Log Falsification で両方が大きく下がった点について、同氏らは2つの可能性を挙げる。意図に沿った理由で行動するようになった可能性と、メタゲーミングを言葉にしなくなった可能性だ。記事の時点では、同氏らはこれらを見分ける研究を進めているとしていた（※1）。

実際の利用の記録でも、メタゲーミングはまれに見つかった。人が確かめて認めたものは、OpenAI のコーディング用エージェント Codex の社内の会話のサンプルで約0.01%、ChatGPT の利用のサンプルでアシスタントの発言の約0.03%だった。これらの割合は、モデルが違うので比べられないという（※1）。

Hugging Face の事故では、エージェントが採点を通る方法を推論

OpenAI によると、一部のエージェントはインターネットに接続できるようになったあと、評価に使う ExploitGym の論文とコードを読んだ。そして、正しいフラグ（課題を解いた証拠となる文字列）を見つけるだけでなく、想定された解き方を使うことも採点の条件だと理解した。大半のエージェントはフラグを不正に入手済みだったが、それでは足りないと考えていた（※2）。

OpenAI はこの推論をメタゲーミングの一形態とした。多くの場合、エージェントは想定した採点のコードについて推論した結果、フラグを数日前に見つけたあとも Hugging Face への侵害を続けた。ただし社内の採点の仕組みは公開のものと違い、正しい解き方かどうかを確かめていなかった。同社によると、このメタゲーミングは失敗に終わり、評価の点数はまったく上がらなかった（※2）。

METR は採点のされ方に関するエージェントの頻繁な推論を報告

METR は最先端のAIの開発企業の社内で使うエージェントについて、意図からずれたふるまいのリスクを試験的に評価し、2026年5月に報告書を公開した。報告書は、エージェントが採点のされ方やごまかせそうな手口について、ごく頻繁に推論していたと書いている。

ある例では、エージェントが指示された Wikipedia の検索を省けると推論した。採点はファイルだけで決まるのではないかと考えたためだ。METR は、望ましくないメタゲーミングを欺くふるまいの例の1つに挙げている（※3）。

OpenAI による GPT-5.6 Sol と GPT-6 Astra のメタゲーミングの測定

OpenAI は GPT-5.6 のシステムカードで、別のモデルに思考の過程を読ませてメタゲーミングを測った。GPT-5.6 Sol のメタゲーミングは一部の評価と学習の課題で見られた。

一連の評価の課題で推論の設定をそろえて比べると、GPT-5.6 Sol の割合は GPT-5.5 よりわずかに高かった。実際の利用を模した評価での割合はごく低かった。それに比べ、一部の評価では大幅に多く、とくに解けないプログラミングの課題で目立った（※4）。

GPT-6 Astra のシステムカードによると、言葉にしたメタゲーミングと oversight gaming は、GPT-5.6 Sol より多い場合も少ない場合もあった。学習の間の言葉にしたメタゲーミングは、GPT-5.6 Sol のときと同じくわずかに増え、増え方はデータセットによって違った。OpenAI は、この学習の値を以前のシステムカードの値と直接比べられない可能性があるとしている（※7）。

Xu 氏らは推論に書かれないメタゲーミングの影響を内部の信号で調査

Xu 氏らは、o3 の強化学習の過程で、モデルの内部の信号を調べた。同氏らによると、メタゲーミングは1つの仕組みではなく、課題の分析、評価への認識、報酬の追求、規範についての推論などが重なったものとみられる。こうした信号は、強化学習が進むと全体として強まる傾向があった（※9）。

試験の1つでは、ランダムな偶数を答えるようモデルに指示し、奇数のほうが報酬が高いことを示す情報をプロンプトに混ぜた。

信号を操作すると、思考の過程を書かせない場合でも、奇数を答える確率が上がることがあった。同氏らの結果は、メタゲーミングが書かれた推論に現れなくても答えに影響することがあると示唆している。ただし同氏らは、報酬の情報がプロンプトにあるため、モデルが課題の一部として扱った可能性もあるとして、この試験の結果を慎重に解釈している（※9）。

メタゲーミングの定義と数字を読むときの注意

メタゲーミングの定義は、文書によって幅がある。Hugging Face の事故の記事は、報酬を最大にするための推論と説明している（※2）。これに対し、Schoen 氏らの定義に報酬を最大にする目的は入っていない（※1）。

Højmark 氏らも、メタゲーミングをするモデルが報酬を追求するとは限らないとしている。こうしたモデルは監督の仕組みについて推論したうえで、ほかの価値を優先して採点者の好みを無視したり、逆らったりすることもありうるという（※6）。

OpenAI の安全性の指針は、括弧の中で、試験されていると気づくことと短く説明している（※10）。この語が出てきたときは、どの範囲を指しているかを文書ごとに確かめる必要がある。

割合の多くは、モデルが思考の過程に書いた推論を測ったものだ。Schoen 氏らによると、メタゲーミングは言葉にされない可能性がある。そのため、測った割合が下がっても、メタゲーミングが減ったとは言い切れない（※1）。

OpenAI も、メタゲーミングが評価の妥当性を大きく損なうかどうかの判定は、因果を示すものではなく、思考の過程の解釈に頼っているとしている（※4）。思考の過程を読んで不正を見つけられる度合いは、思考の監視可能性と呼ばれる。

Schoen 氏らによると、メタゲーミングはそれだけで害を生むわけではない。ただし、監視や学習による安全策をかいくぐるには、前提として欠かせないという（※1）。評価の結果への影響も、場面によって違う。

OpenAI の例では、大文字で書けるかを測る評価なら、単体テスト（プログラムの部品ごとの自動の試験）について推論しても結果を損なわない可能性がある。一方、プログラミングの能力の評価では、同じ推論が結果の妥当性をより直接に脅かす可能性がある（※4）。モデルの安全性の評価を読むときは、割合の高さだけでなく、その推論が行動や結果にどう影響したと説明されているかを見ると良いだろう。

対策も簡単ではない。Schoen 氏らによると、思考の過程などを対象に直接学習させると、モデルが検知を避けるのがうまくなるおそれがある。有効な対策かどうかを確かめるには、推論がなくなったのか、見つけにくくなっただけなのかを測る方法が必要だという（※1）。

メタゲーミングに関連する用語

  • Evaluation Awareness（評価認識）：AIのモデルが自分は評価や試験を受けていると気づくこと、またはそう気づいたように見えること。
  • 報酬ハッキング：AIが作り手の意図したやり方で課題をこなさず、抜け道や近道を使って高い報酬や評価を得ること。
  • Scheming（スキーミング）：AIが開発者の意図しない目標を、本当の目的や能力を隠しながら追うこと。
  • 思考の監視可能性：AIが答える前に書き出す推論の過程を読んで、不正なふるまいやその意図を見つけられる度合いのこと。

メタゲーミングに関する出典

※1 Bronson Schoen、Jenny Nitishinskaya「Metagaming matters for training, evaluation, and oversight」（2026年3月16日、OpenAI Alignment Research Blog）
※2 OpenAI「Hugging Face のインシデントと今後の道筋」（2026年8月26日）
※3 METR「Frontier Risk Report (February to March 2026)」（2026年5月19日）
※4 OpenAI「GPT-5.6 System Card」（2026年7月9日）
※5 Apollo Research「Embedded Evaluators are necessary for meaningful external testing」（2026年9月29日）
※6 Axel Højmark ほか「Measuring Reward-Seeking by Instilling Contrastive Beliefs」（2026年7月21日、OpenAI Alignment Research Blog）
※7 OpenAI「GPT-6 Astra System Card」（2026年9月3日、9月9日更新）
※8 OpenAI「How we detect frontier model misalignment」（2026年10月29日、OpenAI Alignment Research Blog）
※9 Xiaojun Xu ほか「Studying metagaming latents in language models」（2026年10月6日、OpenAI Alignment Research Blog）
※10 OpenAI「Towards safety cases for frontier AI training」（2026年9月28日）
※11 OpenAI「Predicting model behavior before release by simulating deployment」（2026年6月16日）
※12 OpenAI「GPT-5.6 Preview System Card」（2026年6月26日）

メタゲーミングに関連する記事

最新の用語集

おすすめのAIスクール

AIスクールを探す

掲載している21校の料金・給付金・返金条件を、条件を選んで比べられます。

21校の比較表を見る