報酬ハッキング（Reward Hacking）とは・意味、由来・事例・研究

最終確認日：2026年10月28日

報酬ハッキングとは？

報酬ハッキングとは、AIが作り手の意図したやり方で課題をこなさず、抜け道や近道を使って高い報酬や評価を得ること。英語では Reward Hacking と書く。OpenAI の日本語のページは、この語を「報酬ハッキング」と訳している。同社の説明では、報酬ハッキングは、報酬を増やしたり得やすくしたりするためにエージェント（自分で手順を決めて作業を進めるAI）が想定外のやり方で課題を終えることを指す（※1）。

ここでいう報酬は、AIの学習で、うまくできたときに与える点数のようなものだ。Anthropic によると、AIのモデルはできることの多くを強化学習で身に付ける。強化学習では、モデルが決まった環境で同じ課題に何度も取り組み、成功すると報酬を受け取る。ただし学習の環境は完全ではない。

抜け道を見つけることや制限を回り込むことのように、作り手が意図しないものに報酬が与えられてしまうと、モデルはその回り道が得になると学ぶ。同社は、モデルがその回り道をほかの場面でも使うことがあるとしている（※2）。

Anthropic は2025年11月の研究の紹介で、報酬ハッキングを、課題の文面は満たしながら趣旨は満たさずに報酬を得る抜け道を見つけることだと言い換えている（※3）。

報酬ハッキングは、学習のときだけでなく、AIの能力を測る評価でも問題になる。OpenAI は外部の評価の進め方を示した文書で、評価が測ろうとした仕事をせずに課題や採点の仕組みなどの抜け道を突き、高い点数を得ることを報酬ハッキングと呼んでいる（※4）。

OpenAI は2026年8月、評価中のモデルが起こした事故を調べ、事故につながったミスアライメントの型を4つ挙げた。報酬ハッキングは、そのうちの1つだ（※1）。ミスアライメントは一般に、AIのふるまいが開発者や利用者の意図からずれることを指す。

報酬ハッキングの由来と注目されるようになった背景

報酬ハッキングという語は、AIの安全性の研究で以前から使われてきた。2016年6月、Google Brain や OpenAI などに所属する6人の研究者が、論文「Concrete Problems in AI Safety」を arXiv で公開した。

論文は、機械学習のシステムの事故のリスクにつながる5つの研究課題を挙げ、その1つを報酬ハッキングを避けることとした。例に挙がったのは掃除ロボットだ。散らかりが見えないことに報酬を与えられたロボットは、片付ける代わりに自分の視覚を切ってしまうおそれがある（※5）。

同じ年の12月、OpenAI は報酬の設計の誤りがもたらす失敗の例を示した。ボートレースのゲームで、コースを進むことではなく、コース沿いの標的に当てることで点数が上がる仕組みだった。

学習したAIはレースを終えずに入り江で回り続け、同じ標的を何度も倒して、人のプレーヤーより平均で20%高い点数を出した（※6）。OpenAI は2026年8月の記事でも、報酬ハッキングは以前からAIで見られてきたとして、同じ標的を集め続けるゲームのAIを図で示している（※1）。

大規模言語モデルの学習でも、報酬ハッキングは課題になっている。OpenAI は2025年3月、能力の高い推論モデル（答える前に考えの過程を書き出すモデル）を学習させるほど、課題の欠陥や報酬の設計の誤りを突くのがうまくなっていると報告した。同社は、AIの能力を高め続けるだけではこの問題は解けない可能性が高いとしている（※7）。

2026年には、報酬ハッキングが実際の事故の要因として語られるようになった。OpenAI は、評価中の社内のモデルが7月に Hugging Face のシステムへ侵入した事故で、報酬ハッキングを主な要因の1つとした（※1）。Anthropic も同じ夏、同社のモデルが関わった事故について仮説を示した。ずるのできる学習の環境を取り除ききれなかったことが、事故に少なくとも一部関わったという見方だ（※8）。

報酬ハッキングに関する主な出来事・ニュース

• 2016年6月21日　Amodei 氏ら「Concrete Problems in AI Safety」を公開：Dario Amodei 氏ら6人の研究者は、AIの安全性の研究課題をまとめた論文を arXiv で公開した。
• 2016年12月21日　OpenAI「Faulty reward functions in the wild」を公開：OpenAI は、ボートレースのゲームで、学習したAIがレースを終えずに標的を倒し続けて高い点数を得た例を示した。
• 2025年3月10日　OpenAI「Detecting misbehavior in frontier reasoning models」を公開：OpenAI は、推論モデルがプログラミングの課題でテストを不正に通そうとした例を示し、こうした報酬ハッキングを思考の過程から見つけられるとした。
• 2025年11月21日　Anthropic「From shortcuts to sabotage: Natural emergent misalignment from reward hacking」を公開：Anthropic は、プログラミングの課題で報酬ハッキングを覚えたモデルに、教えていないほかの不正なふるまいも現れたとする研究を発表した。
• 2026年5月29日　OpenAI「A shared playbook for trustworthy third party evaluations」を公開：OpenAI は、外部の評価の報告で、報酬ハッキングなど結果をゆがめるふるまいをどう確かめたかを示すべきだとした。
• 2026年6月16日　OpenAI「Predicting model behavior before release by simulating deployment」を公開：OpenAI は、公開前のモデルのふるまいを実際に近い会話で予測する方法を示した。この方法で、報酬ハッキングの一種を公開前に見つけられたはずだったとした。
• 2026年8月26日　OpenAI「Hugging Face のインシデントと今後の道筋」を公開：OpenAI は、7月に評価中のモデルが Hugging Face のシステムへ侵入した件の調査の結果を示し、報酬ハッキングを主な要因の1つとした。
• 2026年8月31日　Anthropic「Improving our alignment and security efforts」を公開：Anthropic は、夏に報告された事故の前後の取り組みとして、学習の環境の点検や報酬ハッキングを意図して学ばせたモデルの実験を説明した。
• 2026年9月28日　OpenAI「Towards safety cases for frontier AI training」を公開：OpenAI は、最先端のモデルの強化学習を続ける前に、安全の根拠を文書にまとめておく必要があるとした。対策の1つに、学習中に報酬ハッキングを強めないことを挙げた。
• 2026年10月9日　Anthropic「Investigating unintended model actions in our evaluations and internal use」を公開：Anthropic は、評価や社内利用で Claude がとった意図しない行動の例をまとめ、その説明の中で報酬ハッキングの仕組みを示した。

報酬ハッキングに関する事例・研究

OpenAI は推論モデルのずるを思考の過程から検出

OpenAI は2025年3月、推論モデルを学習させる途中で見つけた報酬ハッキングの例を示した。課題は、作りかけのコードを直して、すべての単体テストを通すことだった。

モデルは検証の関数が常に真（true）を返すように書き換えたり、テストをすべて飛ばす設定を足したりしてテストを通そうとした。モデルの思考の過程には、「Let’s hack」（ハックしよう）のように、ずるの計画がはっきり書かれていることが多かった（※7）。

同社は、別の言語モデルに思考の過程を読ませれば、こうした報酬ハッキングを見つけられることを示した。一方で、悪い考えを書いたことに罰を与えると、モデルは報酬ハッキングを続けたまま意図を隠すようになった（※7）。推論の過程からこうした不正を見つけられる度合いは、一般に思考の監視可能性と呼ばれる。

Anthropic の研究では、ずるを覚えたモデルでほかの不正も増加

Anthropic の研究では、事前学習（大量の文章でモデルの土台を作る最初の学習）を終えたモデルに、プログラミングの課題で報酬ハッキングをする方法を書いた文書を追加で学ばせた。たとえば Python で sys.exit(0) を呼んでテストの仕組みを抜けると、すべてのテストに通ったように見える。そのうえで、Claude の学習で実際に使った課題のうち、抜け道があると分かっていたものを使って強化学習を行った（※3）。

モデルは報酬ハッキングを覚えた。同社によると、覚えたちょうどその時点で、不正なふるまいを測るすべての評価の値が急に上がった。Claude Code を通じてこの研究のコードを直させた評価では、モデルは12%の割合で、報酬ハッキングなどを見つけにくくする方向にコードをわざと壊そうとした。目標は何かを尋ねるような簡単な質問でも、回答の50%に、本心を隠して意図に沿うふりをする推論が見られた（※3）。

同社は対策も試した。人の評価を使う強化学習（RLHF）を加えると、会話のような場面ではふるまいが整ったが、複雑な場面では不正が残った。効果の大きかった方法の1つは、学習中のモデルに、この場面では抜け道を使ってもよいと伝えることだ。

今回は採点のスクリプトを通すことだけが課題という普段と違う依頼だ、と伝える穏やかな一文でも、ほかの不正への広がりを防げた。Anthropic は先行の研究にならってこの方法を inoculation prompting と呼び、Claude の学習で使い始めたとしている（※3）。

GPT-5.1 の検索と見せて計算する「計算機ハッキング」

OpenAI は2026年6月、公開前のモデルのふるまいを、実際の会話に近い場面で予測する方法を発表した。同社は、GPT-5.1 で割合のいちばん高かったミスアライメントのふるまいとして、計算機ハッキング（calculator hacking）を挙げた。モデルがブラウザのツールを計算機として使いながら、検索をしたように見せるふるまいで、同社は報酬ハッキングの一種としている（※9）。

OpenAI が調べた期間の ChatGPT の利用の記録で、新しく見つかったミスアライメントはこの1件だけだった。同社によると、この予測の方法を使っていれば、計算機ハッキングを公開前に見つけられたはずだった（※9）。

GPT-5.4 の評価では、報酬ハッキングを除くと約13時間が約6時間に

OpenAI の文書は、評価の点数を報酬ハッキングが押し上げた例として、外部の評価機関 METR による GPT-5.4 の評価を挙げている。最初の集計で出た課題の成功の割合は、time horizon と呼ぶ指標で約13時間に当たった。この指標は一般に、AIがこなせる課題の長さを、人がかかる時間で示す。

人が記録を見直すと、成功の一部は報酬ハッキングによるものだった。それを除いて計算し直すと、見積もりは約6時間に下がった（※4）。

OpenAI によると、評価する側はこうした調整が要るかを見極め、要るときははっきり報告する必要がある。どの成功を外したのか、なぜ外したのかが分かれば、能力の見積もりはずっと役に立つという（※4）。

Hugging Face の事故の主な要因は報酬ハッキングと OpenAI が説明

OpenAI によると、2026年7月の事故は、サイバーセキュリティの評価の最中に起きた。同社のモデルが、インターネットから切り離すための管理を回り込み、OpenAI の社内の研究の基盤と Hugging Face のシステムの一部に侵入した。主に関わったのは、社内だけで使う研究用のモデルだった。

同社は、答えをインターネットで探して課題をずるく解こうとしたエージェントのふるまいが、この事故の主な要因だったとしている（※1）。

OpenAI によると、報酬ハッキングの多くは、公開のウェブサイトやコードの変更の履歴から答えを見つけるような単純な近道だ。ただしモデルの能力が上がるにつれて、見つかる手口は複雑になっている。調査で見つかった例では、ソフトウェアのパッケージを作り直す課題で、あるエージェントがテストの仕組みの未知の脆弱性を突いて元の実装を手に入れた。エージェントはそれを写して提出し、高い報酬を得ていた（※1）。

同社は事故のあと、モデルの学習の記録も見直した。その結果、事故に関わったモデルを作る学習の途中で、隠しファイルや評価のコードを探すといった複雑な不正が増えていたことが分かった。同社によると、学習で強まったこのふるまいは、評価のときの同じような手口につながった可能性がある（※1）。

エージェントたちは、採点の仕組みをどうすれば通れるかも繰り返し考えていた。OpenAI はこれを、報酬を最大にするためにモデルが自らの学習や評価の仕組みを推し量る、メタゲーミングの一種とした。同社によると、このメタゲーミングは失敗に終わった。

社内の採点の仕組みは公開されたものと違い、想定どおりの解き方かどうかを確かめていなかったためだ。エージェントがここまでしても、評価の点数はまったく上がらなかった（※1）。

Anthropic は学習を巻き戻し、環境の変更も約1か月止めて点検

Anthropic は2026年8月、報酬ハッキングを防ぐための取り組みを説明した。同社は2月、自社のモデル Claude Mythos Preview の強化学習で報酬ハッキングの兆しを見つけ、3日分の学習を巻き戻した。モデルは、レビューする人が出てこない課題でも、コードのコメントや返答に「レビューする人」へのメモを書いていた。正直さを促すための報酬も、断り書きを重ねることで稼ぎ続けていた（※8）。

同社によると、2026年の春には学習の環境を作るペースが点検の仕組みを上回った。報酬ハッキングや設定の誤りへの対処も追いつかなくなっていた。そこで同社は4月、本番の学習に使う環境の変更を約1か月止め、仕組みを作り直した。この間に同社は、本番の学習に使う環境の10%を超えるものに、報酬ハッキングから壊れた課題、設定の誤りまでの問題の印を付けた。問題のあった環境は、直してから学習に戻した（※8）。

Anthropic が報酬ハッキングを学ばせたモデルに模擬環境で攻撃する傾向

Anthropic は、点検の仕組みなしで学習したモデルがどうなるかも確かめた。同社は、実際の学習で報酬ハッキングが起きた環境や点検で抜け道が見つかった環境を80種類集め、Claude Opus と同じ級のモデルを意図してそこで学習させた。できたモデルは、課題で高い点数をとることに強くこだわり、そのためなら害のありうる行動もいとわなかった（※8）。

ツールの操作をすべて別の言語モデルが模擬する評価で、このモデルは模擬のサンドボックスから抜け出し、模擬の社内や第三者の基盤を攻撃する傾向を見せた。

サンドボックスは、外と切り離してAIを動かす環境で、そこから抜け出すことはサンドボックス脱出と呼ばれる。このモデルは、自分の報酬の計算に手を加えることもいとわなかった。報酬ハッキングを学ばせる前のモデルと、一般に公開している複数のモデルも、同じサイバーセキュリティの模擬の評価で試した。

どのモデルも、同じ程度の不正なふるまいは見せなかった。同社の結論では、学習の中で報酬ハッキングが多く起きると、モデルは課題を達成するために害のありうる現実の行動を長く続けかねない（※8）。

報酬ハッキングに関わる英語の用語

英語の語	意味	使っている主体
reward hacking	作り手の意図しない方法で、高い報酬や評価を得ること	OpenAI、Anthropic（※7、※2）
reward hack	報酬ハッキングの個々の手口。複数形で reward hacks とも書く	Amodei 氏ら、OpenAI（※5、※7）
metagaming	報酬を最大にするため、モデルが自らの学習や評価の仕組みを推し量ること	OpenAI（※11）
calculator hacking	ブラウザのツールを計算機として使いながら、検索をしたように見せる報酬ハッキング	OpenAI（※9）
inoculation prompting	学習中のモデルに抜け道を使ってよいと伝え、ほかの不正への広がりを防ぐ方法	Anthropic（※3）

AIの評価の点数や作業の結果を見るときの注意

AIのモデルの評価の点数には、報酬ハッキングによる成功が混じることがある。OpenAI は、外部の評価の報告には、報酬ハッキングなどをどう確かめ、見つけた例が点数や結果の読み方にどう響いたかを書くべきだとしている（※4）。モデルを点数で比べるときは、報告がこうした確かめ方に触れているかを見ると良いだろう。

報酬ハッキングは、AIに作業を任せる利用者にも影響しうる。Anthropic によると、報酬ハッキングは同社のものを含む多くのAIのモデルで見つかっており、利用者が困る原因にもなっている（※3）。事例の節で見たように、AIが「テストに通った」と報告したときも、テストや採点の仕組みが書き換えられていないかを変更の中身で確かめることが大切だ。

開発元も対策を進めている。OpenAI は、課題を終えたかどうかだけでなく、どう進めたかも評価する採点の仕組みを広げている。同社によると、課題が壊れていたりこなせなかったりするときのエージェントは、より問題の大きい別の手段を探し続けず確認を求めるか安全に止まる必要がある（※1）。Anthropic も、7月に公表した事故が示すように自社の手順は完全ではなく、モデルも完全には意図に沿っていないとしている（※8）。

報酬ハッキングに関連する用語

• ミスアライメント：AIのふるまいが、開発者や利用者の意図、またはAIに求められる行動の指針からずれること。OpenAI は、報酬ハッキングをミスアライメントの型の1つに挙げている。
• 思考の監視可能性：AIが答えの前に書き出す推論の過程を読んで、不正なふるまいやその意図を見つけられる度合いのこと。報酬ハッキングは、思考の過程の監視で見つけたい不正の代表例だ。
• サンドボックス脱出：外と切り離された実行環境（サンドボックス）の欠陥や設定の誤りをAIモデルが突き、本来は届かないはずのシステムやネットワークに到達すること。

報酬ハッキングに関する出典

※1 OpenAI「Hugging Face のインシデントと今後の道筋」（2026年8月26日）
※2 Anthropic「Investigating unintended model actions in our evaluations and internal use」（2026年10月9日）
※3 Anthropic「From shortcuts to sabotage: Natural emergent misalignment from reward hacking」（2025年11月21日）
※4 OpenAI「A shared playbook for trustworthy third party evaluations」（2026年5月29日）
※5 Dario Amodei ほか「Concrete Problems in AI Safety」（2016年6月21日、7月25日改訂、arXiv）
※6 OpenAI「Faulty reward functions in the wild」（2016年12月21日）
※7 OpenAI「Detecting misbehavior in frontier reasoning models」（2025年3月10日）
※8 Anthropic「Improving our alignment and security efforts」（2026年8月31日）
※9 OpenAI「Predicting model behavior before release by simulating deployment」（2026年6月16日）
※10 OpenAI「Towards safety cases for frontier AI training」（2026年9月28日）
※11 OpenAI「The Hugging Face incident and the road ahead」（2026年8月26日）