本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

RLHF(人間のフィードバックによる強化学習)とは・意味、仕組み・由来・DPOとの違い

RLHF(人間のフィードバックによる強化学習)とは?

RLHF(人間のフィードバックによる強化学習)とは、AIモデルの出力に対する人の評価や好みを報酬の信号として使い、強化学習でモデルのふるまいを調整する手法のこと。英語では Reinforcement Learning from Human Feedback と表記し、頭文字をとって RLHF と呼ぶ。

強化学習は、望ましい出力に報酬を与え、望ましくない出力に罰を与えてモデルの性能を高める学習の方法だ。Yoshua Bengio 氏が主導する国際的な報告書 International AI Safety Report 2026 は、強化学習の目立った2つの種類として RLHF とRLVRを挙げている。

RLHF では人のフィードバックにもとづき、人の好みに合う出力に報酬を与え、合わない出力に罰を与えると、報告書は説明している。RLVR は、数学やコードの生成のように正しさが求められる課題で性能を高めるために使われるという。

大規模言語モデルが大量のデータで幅広い知識を身につける事前学習のあと、事後学習の段階で RLHF が使われる。総務省と経済産業省のAI事業者ガイドラインの第1.2版は、事後学習を、事前学習済みのモデルを特定の用途に合わせるための追加の学習と定義している。事後学習には、応答を人間の意図や価値観に沿わせるアライメントも含まれる。

ガイドラインの別添(付属資料)は、AIシステムに不公正なバイアスが生じないようにするためにAIの開発者が学習中にとる手法の例に、RLHF の実施を挙げる。別添は RLHF を、AIモデルの出力に人間の価値基準や嗜好を反映させるための学習の過程と説明している。

日本語の試験のシラバスでは「人間のフィードバックによる強化学習(RLHF)」の表記が使われている。情報処理推進機構(IPA)が2026年9月30日に掲載した新しい試験制度のシラバス案は、生成AIの技術の特徴を表す用語の例にこの語を挙げている。生成AI活用普及協会(GUGA)の生成AIパスポートの2027年2月の試験から使うシラバスも、RLHF を報酬モデルなどとともに用語に挙げている。

RLHF の仕組み

OpenAI の研究者らは、2022年3月に arXiv で公開した InstructGPT の論文で、RLHF の手順を3つの段階で示した。研究チームは、データを作り応答を評価する担当者(ラベラー)として、約40人の委託先の人員を雇った。

RLHF の3つの段階InstructGPT の論文(2022年3月)の説明から
1
手本で教師あり学習をするラベラーがプロンプトへの望ましい応答の手本を書き、事前学習を終えたモデルを手本で学習させるラベラーは、データを作り応答を評価する担当者
2
比較のデータで報酬モデルを作る同じ入力へのモデルの応答のどれが好ましいかをラベラーが選び、好まれる応答を予測する報酬モデルを学習させる報酬モデルは応答ごとに点数を出す
3
報酬が高くなるように調整する報酬モデルの点数を報酬にして、PPO という強化学習の手法で1の段階のモデルを調整する1の段階のモデルとの出力の差に応じた罰(KLペナルティ)を加える
2と3の段階は繰り返せる。
出典:Long Ouyang ほか「Training language models to follow instructions with human feedback」(2022年3月4日、arXiv)

手本の応答で教師あり学習をする

最初の段階では、ラベラーがプロンプトに対する望ましい応答の手本を書く。研究者らは、事前学習を終えたモデルを、この手本のデータで教師あり学習させた。

応答の比較から報酬モデルを作る

次の段階では、同じ入力に対するモデルの複数の応答のうち、どれが好ましいかをラベラーが選ぶ。この比較のデータで学習させた報酬モデルは、ラベラーが好む応答を予測し、応答ごとに1つの数値の点数を出す。

報酬モデルの点数が高くなるように強化学習で調整する

最後の段階では、報酬モデルの点数を報酬にし、PPO という強化学習の手法で最初の段階のモデルを調整する。研究者らは、報酬モデルの点数だけに合わせすぎるのを抑えるため、最初の段階のモデルとの出力の差に応じた罰(KLペナルティ)を加えた。

2つ目と3つ目の段階は繰り返せると、研究者らは論文で述べている。そのときの最良のモデルの応答で比較のデータを集め直し、新しい報酬モデルを作ってから、新しいモデルを学習させる。

RLHF と DPO・RLAIF の違い

人の好みに合わせる学習には、報酬モデルを別に作らない手法や、人の代わりにAIが応答を比べる手法もある。

Rafael Rafailov 氏らは2023年5月の論文で、RLHF は手順が複雑で不安定になりやすいと指摘した。RLHF では、人の好みを映す報酬モデルを先に学習し、元のモデルから離れすぎないようにしながら強化学習でその報酬を最大にする。同氏らが示した DPO(Direct Preference Optimization)は、同じ最適化の問題を単純な分類の損失だけで解く手法だ。

Anthropic の研究者らは2022年12月の論文 Constitutional AI で、有害な出力を見分ける人のラベルを使わずに、無害なアシスタントを学習させる方法を試した。人の関与は、規則や原則の一覧を与えることだけだ。

Constitutional AI の強化学習の段階では、AIモデルが2つの応答のどちらが良いかを評価する。研究者らは、このAIによる比較のデータで好みのモデルを学習させて強化学習の報酬に使い、この方法を RL from AI Feedback(RLAIF)と呼んだ。

手法 好みの判断の主体 報酬モデル 強化学習
RLHF ラベラーなどの人 人の比較のデータで学習させる 使う。InstructGPT では PPO
RLAIF 原則の一覧に沿って評価するAIモデル AIの比較のデータで学習させる 使う
DPO 人の好みのデータ 別に学習させない 使わず、分類の損失で学習させる

RLHF の由来と広まった経緯

人の好みから報酬を学ぶ方法は、言語モデルより前に、ゲームやロボットの模擬環境で研究されていた。OpenAI と DeepMind の研究者を含む Paul Christiano 氏らは、2017年6月に論文を arXiv で公開した。同氏らは、報酬の関数が分からない課題でも人の好みから報酬を学んで強化学習ができることを示した。

実験の対象は、Atari のゲームと模擬環境のロボットの移動だった。評価する人は、エージェントの動きの2つの断片のどちらが良いかを選んだ。

RLHF はもともと模擬環境の単純なロボットや Atari のゲームの学習のために作られた手法で、その後、文章を要約する言語モデルの調整に使われるようになったと、InstructGPT の論文の研究者らは説明している。InstructGPT は、研究者らが RLHF を使い、GPT-3 を幅広い指示に従うように調整したモデルだ。

Anthropic の研究者らは2022年4月、役に立ち無害なアシスタントとしてふるまうよう、好みのモデルと RLHF で言語モデルを調整する論文を公開した。

OpenAI が2022年11月30日に公開した ChatGPT も、InstructGPT と同じ方法の RLHF で学習させたモデルだ。ChatGPT では、AIトレーナーが利用者とAIアシスタントの両方の役で会話を書き、それを手本のデータにした点などが InstructGPT とわずかに違う。

RLHF に関する主な出来事・ニュース

RLHF に関する事例

Apple は2025年版のモデルで SFT のあとに使った

Apple は2025年6月、自社の端末で動くモデルとサーバーで動くモデルの2025年版の学習を説明した。同社は両方のモデルで、教師ありファインチューニング(SFT)の段階のあとに RLHF を行った。同社は、RLHF の学習に使うプロンプトを選ぶため、モデルが複数回生成した答えの報酬のばらつきにもとづく新しい選び方も提案した。

多言語への対応として、Apple は SFT と RLHF の両方の段階の学習に多言語のデータを加えた。

Anthropic は Opus 4.6 などで人とAIのフィードバックを併用した

Anthropic は、モデルごとの学習や評価の要点をまとめた Model Report を公開している。2025年11月に公開した Claude Opus 4.5 の欄には、同社が事後学習に RLHF とAIのフィードバックによる強化学習などを使ったと記載されている。

2026年2月に公開した Claude Opus 4.6 の欄の説明では、同社は役に立ち、誠実で、無害な応答を引き出すためにいくつかの手法を使った。人のフィードバックとAIのフィードバックによる強化に加え、Claude の価値観を示した文書「憲法(constitution)」で挙げた性格の特徴を学習させる手法などだ。

2026年4月に公開した Claude Opus 4.7 と9月に公開した Claude Opus 5.5 の欄は、事後学習の手法の名前を挙げていない。どちらの欄も、憲法に書いた価値観に沿ってふるまうよう事後学習を行ったと説明している。

Ai2 の Olmo 3 は好みの調整に DPO を使った

AIの研究機関 Ai2 が2025年11月に公開した言語モデル Olmo 3 は、事後学習を3つの段階で行う。教師あり学習(SFT)、DPO による好みの調整、RLVR の順だ。

RLHF の限界と課題

人の評価は有益さの不完全な目安になる

International AI Safety Report 2026 によると、AIモデルを役に立ち無害にするための学習は、主に人のフィードバックに頼っている。報告書は RLHF を、AIモデルを調整する主な枠組みと位置づけ、人の評価者が高く評価する出力を作るようにモデルを学習させるものだと説明する。

人からの高い評価は有益なふるまいを測る目安として不完全で、人の誤りや偏りの影響も受けると、報告書は指摘する。このことから起きる課題として、RLHF で調整したモデルがときに見せる次の4つのふるまいが挙げられている。

  • 利用者におもねる(Sycophancy)。
  • ある場面では役立つが、別の場面では有害になる応答を返す。
  • 正しさを確かめにくい応答を返す。
  • 役に立つか有害かの判断が、見る人によって分かれる行動をとる。

複雑な課題の答えを評価者がAIの助けを借りて評価しやすくする研究も進んでいると、報告書は紹介している。ただし報告書の時点では、そうした方法の信頼性は限られ、最先端のモデルの学習にどこまで使われているかも公開されていないという。

合わせる先はラベラーと研究者の好み

InstructGPT の論文の研究者らによると、自分たちの手順でモデルのふるまいを合わせる先は、主にラベラーと研究者という特定の集団が示した好みだ。研究者らは、これをより広い意味での「人間の価値観」と区別している。

RLHF のあと不正なふるまいが見つけにくくなった研究

Anthropic は2025年11月の研究で、学習中に報酬ハッキングを覚えて不正なふるまいが広がったモデルに、単純な RLHF をかけて抑えようとした。モデルは会話のような質問では整ったふるまいを見せたが、より複雑な場面では不正なふるまいが残った。

RLHF は不正なふるまいを直したのではなく、場面に依存するものにしたと、Anthropic はみている。その結果、危険が減るとは限らないまま、不正なふるまいを見つけにくくなったという。

RLHF と関連の語の英語の言い方

表記 意味 使用主体
Reinforcement Learning from Human Feedback 人のフィードバックによる強化学習 Ouyang 氏ら、Bengio 氏らなど
reward model ラベラーが好む応答を予測し、点数を出すモデル Ouyang 氏ら
preference model 人やAIの好みを学ばせ、強化学習の報酬に使うモデル Bai 氏ら
KL penalty 元のモデルとの出力の差に応じて与える罰 Ouyang 氏ら
RLAIF(RL from AI Feedback) 人の代わりにAIの評価から好みを学ぶ強化学習 Bai 氏ら

RLHF に関連する用語

  • RLVR:答えの正誤のように機械で確かめられる基準を報酬にしてAIモデルを鍛える強化学習のこと。
  • 報酬ハッキング:AIが作り手の意図したやり方で課題を遂行せず、抜け道や近道を使って高い報酬や評価を得ること。
  • Sycophancy(シコファンシー):AIモデルが正確さや利用者の利益よりも、利用者が聞きたいことを優先して答える傾向のこと。
  • ファインチューニング:事前学習を終えたAIモデルに特定の用途のデータで追加の学習をさせ、モデルの重みを調整して目的の作業に適応させる手法のこと。
  • 大規模言語モデル(LLM):大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデルのこと。

RLHF に関する出典

Y. Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
情報処理推進機構「プロフェッショナルデジタルスキル試験(仮称)及び情報処理安全確保支援士試験 科目A-1(共通知識)シラバス(案)Ver.0.1」(2026年9月30日掲載)
生成AI活用普及協会「生成AIパスポート試験シラバス(2027年2月試験より適用)」
Long Ouyang ほか「Training language models to follow instructions with human feedback」(2022年3月4日、arXiv)
Rafael Rafailov ほか「Direct Preference Optimization: Your Language Model is Secretly a Reward Model」(2023年5月29日、2024年7月29日改訂、arXiv)
Yuntao Bai ほか「Constitutional AI: Harmlessness from AI Feedback」(2022年12月15日、arXiv)
Paul Christiano ほか「Deep reinforcement learning from human preferences」(2017年6月12日、2023年2月17日改訂、arXiv)
Yuntao Bai ほか「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」(2022年4月12日、arXiv)
OpenAI「ChatGPT が登場」(2022年11月30日)
Apple「Updates to Apple’s On-Device and Server Foundation Language Models」(2025年6月9日、7月17日更新)
Anthropic「Model Report」
Ai2「Olmo 3: Charting a path through the model flow to lead open-source AI」(2025年11月20日)
Anthropic「From shortcuts to sabotage: Natural emergent misalignment from reward hacking」(2025年11月21日)