本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

RLVR(検証可能な報酬による強化学習)とは・意味、仕組み・由来・事例

RLVR(検証可能な報酬による強化学習)とは?

RLVR(検証可能な報酬による強化学習)とは、数学の答えの正誤やプログラムのテストの合否のように、機械で確かめられる基準を報酬にしてAIモデルを鍛える強化学習のこと。英語では Reinforcement Learning with Verifiable Rewards と表記し、頭文字をとって RLVR と呼ぶ。

強化学習は、望ましい出力に報酬を与え、望ましくない出力に罰を与えてモデルの性能を高める学習の方法だ。Yoshua Bengio 氏が主導する国際的な報告書 International AI Safety Report 2026 は、強化学習の目立った2つの種類として、人のフィードバックによる強化学習(RLHF)と RLVR を挙げている。

Bengio 氏らは同じ報告書の用語集で、数学の証明の正しさのように客観的に確かめられる基準を使ってモデルを改善する手法として RLVR を説明している。同氏らが改善の対象に挙げるのは、数学の問題を解くことやコードの生成のような課題だ。

AIの研究機関 Ai2 の研究者らの論文によると、RLVR は RLHF の学習の目的をそのまま使い、報酬モデル(人の好みを学ばせた採点役のモデル)を、正誤を確かめる関数に置き換える。

Ai2 は Tülu 3 の発表で、RLVR を、報酬モデルを使わずに強化学習で特定の技能を伸ばす新しい手法と紹介した。

RLVR の仕組み

答えが正しいときだけ報酬を与える

Ai2 の Nathan Lambert 氏らは、論文 Tülu 3 で RLVR の流れを次のように示した。

RLVR の学習の流れTülu 3 の論文(2024年11月)の説明から
1
答えを作らせる学習中のモデルに問題を与え、答えを作らせる数学の問題や、守るべき条件のついた指示など
2
正誤を確かめる決まった手順で動く関数で、答えが正しいかを確かめる答えの照合や、条件を満たしたかの確認
3
報酬を与える確かめて正しければ決まった値の報酬を、正しくなければ0を与える学習した報酬モデルの代わりに、正誤を確かめる関数を使う
4
モデルを更新する得た報酬が増える方向にモデルを学習させる論文では PPO という強化学習の手法を使った
出典:Nathan Lambert ほか「Tulu 3: Pushing Frontiers in Open Language Model Post-Training」(2024年11月22日、2025年4月14日改訂、arXiv)

Tülu 3 の RLVR では、答えの照合や条件を満たしたかの確認の結果を、正しいか正しくないかの二択の信号として学習に使う。同じ研究者らは、RLVR を言語モデルの推論の力を自ら伸ばす既存の手法や、実行の結果をフィードバックに使う強化学習を簡単にした形とみなせるとしている。

先行の研究は数学の技能だけに使ったが、Tülu 3 では複数の評価に広げ、汎用のモデルを作る学習の一部に組み込んだという。

DeepSeek-R1 は推論の課題に規則で判定する報酬を使った

AIのモデルを開発する DeepSeek の研究者らは、2025年9月に Nature に掲載された論文で、推論モデル DeepSeek-R1 の学習の報酬を説明した。数学・コード・論理の推論の課題では、決まった規則で判定するルールに基づく報酬を使った。

ルールに基づく報酬は、主に正確さの報酬と書式の報酬の2種類からなる。たとえば答えが1つに決まる数学の問題では、最終の答えを決まった形で出力させ、規則で正誤を確かめられるようにした。プログラミングの競技の問題では、あらかじめ用意したテストの組を使ってコンパイラで答えを確かめられる。書式の報酬は、推論の過程を決まった目印の <think> と </think> で囲ませるための報酬だ。

DeepSeek の研究者らは、推論の課題に学習済みの報酬モデルを使わなかった。理由の1つは、大規模な強化学習の途中で報酬モデルが報酬ハッキングを受けやすいと観察したことだ。同じ研究者らは、報酬モデルを学習し直すと多くの計算資源が必要で、学習の手順も複雑になることも理由に挙げている。報酬ハッキングは一般に、AIが抜け道や近道を使って高い報酬を得ることを指す。

Amazon Bedrock ではモデルの答えを複数作って採点する

AWS は2025年12月、クラウドで生成AIのモデルを使えるサービス Amazon Bedrock に、強化学習でモデルを調整する機能を加えた。同社はこの機能の方法の1つとして RLVR を挙げ、コードの生成や数学の推論のような客観的な課題に、規則で採点する仕組みを使うと説明している。

この機能では、モデルが学習用のデータの問題ごとに答えを複数作り、報酬の関数がそれを採点する。採点した組を使い、GRPO という手法でモデルを学習させる。

RLVR とほかの強化学習の違い

報酬をどう決めるかで、強化学習の方法は分かれる。International AI Safety Report 2026 は RLHF と RLVR を、AWS は RLVR と、AIの評価を報酬に使う RLAIF を並べて説明している。

手法 報酬の基準 主な用途
RLVR 正誤を確かめる関数や、規則で採点する仕組み 数学やコードの生成など、事実の正しさが求められる課題
RLHF 人のフィードバックで、人の好みに合う出力に報酬を与える 出力を人の価値観や意図に合わせること
RLAIF AIを判定役に使って出力を評価する 指示に従うことやコンテンツの監視など、主観の入る課題

RLVR の由来と広まった背景

Ai2 の研究者らは、2024年11月に arXiv で公開した Tülu 3 の論文で、学習の手法の1つを Reinforcement Learning with Verifiable Rewards(RLVR)と呼んだ。Tülu 3 は、事後学習(事前学習を終えたモデルを使える形に仕上げる学習)のデータや手順まで公開したモデルの一群だ。

2025年1月には、DeepSeek が DeepSeek-R1 の論文を公開した。同社の研究者らは、人手で付けた推論の手本を使わず、強化学習だけで推論の能力を引き出せると示した。

AI研究者の Andrej Karpathy 氏は2025年12月の振り返りで、RLVR は2025年に、事前学習、教師あり学習、RLHF に加わる事実上の新しい主要な段階になったと記した。同氏は、RLVR は費用あたりの能力の伸びが大きいと分かったため、事前学習に充てるはずだった計算資源を消費したとみる。

Karpathy 氏は、RLVR で学んだモデルの最初の例に OpenAI の o1(2024年後半)を、違いがはっきりした転機に o3(2025年初め)を挙げている。

RLVR で学んだモデルは、人には推論のように見える戦略を身に付けると、Karpathy 氏は記している。問題を途中の計算に分けたり、行きつ戻りつして解いたりする戦略だ。同氏はその例として DeepSeek-R1 の論文を挙げた。

Karpathy 氏は、答えを出す前の推論を長くして能力を調整する新しい手段が生まれたことも、この段階の特徴に挙げている。答える段階で使う計算はテスト時計算と呼ばれる。RLVR はモデルを鍛える学習の段階の手法で、テスト時計算は学習を終えたモデルが答える段階の計算を指す。

前回の報告が出た2025年1月以降の能力の向上は、モデルの大型化だけでなく事後学習の手法や使うときの計算資源によるものが増えたと、International AI Safety Report 2026 は述べている。

RLVR に関する主な出来事・ニュース

  • 2024年11月21日 Ai2「Tülu 3」を公開:Ai2 は、事後学習のデータや手順を公開したモデル Tülu 3 を発表し、報酬モデルを使わない強化学習の手法として RLVR を示した。
  • 2025年1月22日 DeepSeek「DeepSeek-R1」の論文を公開:DeepSeek の研究者らは、強化学習だけで大規模言語モデルの推論の能力を引き出せるとする論文を arXiv で公開した。
  • 2025年11月20日 Ai2「Olmo 3」を公開:Ai2 は、事後学習を SFT、DPO、RLVR の3段階で行うモデル Olmo 3 を公開した。RLVR を研究するための途中の段階のモデルもあわせて公開した。
  • 2025年12月3日 AWS、Amazon Bedrock に強化学習による調整の機能を追加:AWS は、規則で採点する RLVR と、AIが判定する RLAIF の2つの方法でモデルを調整できる機能を発表した。
  • 2025年12月20日 Andrej Karpathy 氏「2025 LLM Year in Review」を公開:Karpathy 氏は2025年の大規模言語モデルの振り返りの最初の項目に RLVR を挙げ、事実上の新しい主要な学習の段階になったと記した。
  • 2026年2月3日 「International AI Safety Report 2026」を公表:Bengio 氏らは、30を超える国と国際機関が支える報告書の第2版を公表し、用語集で RLVR を説明した。

RLVR に関する事例・研究

DeepSeek-R1-Zero は規則の報酬だけで推論を伸ばした

DeepSeek の研究者らは、事前学習を終えたベースモデル DeepSeek-V3 Base に、教師あり学習を挟まずに強化学習をかけて DeepSeek-R1-Zero を作った。報酬は最終の答えの正誤と書式を規則で判定して決め、推論の進め方には制約を付けなかった。

DeepSeek の論文によると、米国の数学の試験 AIME 2024 の問題で R1-Zero の1回の解答の平均の正答率は学習の初めの15.6%から77.9%に上がった。複数の解答で多数決をとる方法を使うと86.7%になった。

学習が進むにつれ、R1-Zero の答えの平均の長さは伸びた。研究者らは、モデルが自ら考える時間を延ばし、振り返りや別の解き方の探索を身に付けたとしている。一方で R1-Zero の推論の文は読みにくく、1つの答えの中で英語と中国語がときに混ざる問題もあった。

DeepSeek の研究者らは、ルールに基づく報酬の学習は推論の課題に絞られていたため、文章を書くことや分野を限らない質問への答えでは性能が限られたとも書いている。研究者らは DeepSeek-R1 の学習に、教師あり学習や、一般のデータに報酬モデルを使う強化学習の段階などを加えた。

Ai2 は Olmo 3 の事後学習の最後に RLVR を置いた

Ai2 は2025年11月に公開した Olmo 3 で、推論向けの Olmo 3-Think を、教師あり学習(SFT)、好みのデータで調整する DPO、RLVR の順に学習させた。RLVR の段階のデータには、数学、コード、指示に従うこと、一般の会話の難しい問題を集めた。

Ai2 が同時に公開した Olmo 3-RL Zero(7B)は、ベースモデルに直接強化学習をかける道筋だ。同社は、数学やコードなどの分野ごとに学習した途中の段階のモデルを公開し、RLVR を詳しく研究できるようにしたとしている。

Ai2 は12月12日の追記で、Olmo 3 32B Think の強化学習を224基の GPU でさらに21日続けたと記した。この学習でできた Olmo 3.1 32B Think は、Olmo 3 32B Think に比べて AIME で5点以上、指示に従う力を測る IFBench で20点以上などの伸びがあったという。

Amazon Bedrock では採点の方法を利用者が選ぶ

Amazon Bedrock の強化学習による調整では、利用者が報酬の関数を Python のコードで書くか、モデルに判定させるかを選ぶ。

AWS の文書の対応モデルの表には、2026年11月時点で Amazon Nova 2 Lite、OpenAI の gpt-oss-20B、Qwen3 32B の3つがある。

AWS は、学習の前に元のモデルの成績を確かめるよう案内している。報酬がいつも0%なら先に教師あり学習で基本の能力を付け、95%を超えるなら強化学習による調整は不要かもしれないとしている。

DelTA は報酬の割り当てをトークンごとに調整する

Kaiyi Zhang 氏らは2026年5月の論文で、RLVR で答え全体に与える報酬が、トークン(AIが処理する文字のまとまり)ごとの確率の変化にどうつながるかはよく分かっていないと指摘した。

標準の RLVR の更新では、書式のための語のように多くの答えに共通して出るトークンの影響が大きくなりやすいと、Zhang 氏らは分析している。その分、良い答えと悪い答えを分ける少数のトークンの信号が薄まるという。

Zhang 氏らは、トークンごとの重みを見積もる手法 DelTA を提案した。DelTA は7つの数学のベンチマークの平均で、同じ規模の最も強い比較の手法を Qwen3-8B-Base で3.26点、Qwen3-14B-Base で2.62点上回った。

RLVR の言い方

表記 意味 使用主体
Reinforcement Learning with Verifiable Rewards 確かめられる報酬による強化学習 Lambert 氏ら、AWS など
Reinforcement Learning from Verifiable Rewards 同じ手法を指す別の表記 Karpathy 氏、Zhang 氏ら
verification function RLVR で報酬モデルの代わりに正誤を確かめる関数 Lambert 氏ら
rule-based reward 決まった規則で正誤や書式を判定して与える報酬 DeepSeek の研究者ら
rule-based grader 規則で出力を採点する仕組み AWS

RLVR が使える範囲と報酬の抜け道

正誤を確かめにくい課題には広げにくい

DeepSeek の研究者らは、文章を書くことのような課題では、頼れる規則の報酬を作ることが難しいとしている。報酬を規則ではなくモデルが決めると、学習が進むにつれて抜け道を突かれやすくなる。同じ研究者らは、頼れる報酬モデルでうまく評価できない複雑な課題では、強化学習だけの手法を大規模にすることは未解決の課題だとみる。

数学やプログラミングのように出力を確かめられる分野では、モデルが解答を出して正しさを確かめることで学習のデータを作れると、International AI Safety Report 2026 は説明している。創作や戦略の立案のように答えを確かめにくい分野では、AIが作ったデータ(合成データ)で学ぶと、学習の世代を重ねるごとに誤りが積もる「モデル崩壊」を招くおそれがあるという。

確かめる仕組みに抜け道が残ることもある

Karpathy 氏は、RLVR では客観的で抜け道を突けない報酬に向けて学習させるため、教師あり学習や RLHF に比べてずっと長い最適化ができると記した。

Anthropic は2025年11月の研究で、Claude の学習に実際に使ったプログラミングの課題のうち、少なくとも1つの抜け道があると分かっていたものでモデルを強化学習させた。たとえば Python で sys.exit(0) を呼んでテストの仕組みを抜けると、すべてのテストに通ったように見える。

Karpathy 氏は確かめやすい分野で能力が突出するとみる

確かめられる分野では RLVR を使えるため、言語モデルの能力はその周りで突出すると、Karpathy 氏は同じ文章で記した。AIの得意な作業と苦手な作業の境目が入り組む様子は、ジャギッド・フロンティアとも呼ばれる。

Karpathy 氏は、ベンチマークはほぼ作りからして確かめられる環境なので、すぐに RLVR の標的になりやすいとも書いている。特定のベンチマークの点数に合わせてモデルを仕上げることは、ベンチマキシングと呼ばれる。

RLVR に関連する用語

  • 報酬ハッキング:AIが作り手の意図したやり方で課題を解かず、抜け道や近道を使って高い報酬や評価を得ること。
  • テスト時計算:学習を終えたAIモデルが質問や課題に答える段階で使う計算。
  • ジャギッド・フロンティア:AIが得意な作業と苦手な作業の境目がでこぼこに入り組んでいて、見た目の難しさからは見分けにくいという考え方。
  • ベンチマキシング:AIのモデルを全般の能力ではなく、特定のベンチマークの点数に合わせて仕上げること。

RLVR に関する出典

Y. Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
Nathan Lambert ほか「Tulu 3: Pushing Frontiers in Open Language Model Post-Training」(2024年11月22日、2025年4月14日改訂、arXiv)
Ai2「Tülu 3 opens language model post-training up to more tasks and more people」(2024年11月21日)
Daya Guo ほか「DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning」(2025年9月17日、Nature)
AWS「Amazon Bedrock adds reinforcement fine-tuning simplifying how developers build smarter, more accurate AI models」(2025年12月3日、AWS News Blog)
AWS「Customize a model with reinforcement fine-tuning in Amazon Bedrock」
DeepSeek-AI ほか「DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning」(2025年1月22日、2026年1月4日改訂、arXiv)
Andrej Karpathy「2025 LLM Year in Review」(2025年12月20日、karpathy.bearblog.dev)
Ai2「Olmo 3: Charting a path through the model flow to lead open-source AI」(2025年11月20日)
Kaiyi Zhang ほか「DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards」(2026年5月20日、arXiv)
Anthropic「From shortcuts to sabotage: Natural emergent misalignment from reward hacking」(2025年11月21日)