本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

ファインチューニング(Fine-tuning)とは・意味、手法・RAGとの違い・主なサービス

ファインチューニングとは?

ファインチューニング(Fine-tuning)とは、事前学習を終えたAIモデルに特定の用途のデータで追加の学習をさせ、モデルの重みを調整して目的の作業に適応させる手法のこと。重みは、モデルが学習で調整する数値を指す。

Microsoft はファインチューニングを、作業に固有のデータで追加の学習をして事前学習済みのモデルを作業に適応させるものと説明する。同社によると、ファインチューニングは依頼のたびにプロンプトへ例を足すのではなく、モデルの重みそのものを調整する。

総務省と経済産業省のAI事業者ガイドラインの第1.2版は、事前学習済みのモデルを特定の用途に合わせるための追加の学習を「事後学習」と呼び、その主な手法の1つにファインチューニングを挙げている。

ファインチューニングの主な手法

ファインチューニングの手法は、学習に使うデータの形と、更新するパラメーターの範囲によって分かれる。Google Cloud は、教師ありファインチューニング、プリファレンス チューニング、強化学習ファインチューニングを並べて説明している。

入力と望ましい出力の例で学ばせる教師ありファインチューニング

教師ありファインチューニング(SFT)は、プロンプトと望ましい応答の組を例として学ばせる手法だ。この手法では人手で作った正解の応答を使うことが多いと、OpenAI は説明している。使い道としては、分類、細かな言い回しが必要な翻訳、決まった形式での文章の生成などを挙げている。

Google Cloud によると、教師ありファインチューニングで一般的なデータの量は、ラベルを付けた例が数百から数千だ。

好ましい応答と好ましくない応答の組で学ばせる手法

OpenAI の DPO(Direct Preference Optimization)によるファインチューニングでは、1つのプロンプトに正しい応答と誤った応答の両方を示し、正しい方を指定する。同社は使い道として、要約で大事な点に絞ることや、適した口調と文体で会話の文章を作ることなどを挙げている。

Google Cloud は、選ばれた応答と退けられた応答の組で学ばせる手法をプリファレンス チューニングと呼ぶ。この手法を使えば、ラベルを付けた例で教える方法だけでは定めにくい利用者の主観的な好みにモデルを合わせられるという。同社は、会話の口調に合わせる使い方も挙げている。

応答を採点して報酬を与える強化学習ファインチューニング

強化学習ファインチューニングでは、正解の例の代わりに、モデルの応答を採点する仕組みを用意する。モデルは、採点の得点が高くなるように学習する。Google Cloud の手法では、モデルがプロンプトごとに複数の応答と推論の過程を生成し、最大16個の報酬関数で評価する。報酬関数は、応答の得点を決める関数だ。

Google Cloud の報酬関数には、データにある正解との文字列の一致、Gemini による自動の評価、Python のコードの実行などを使える。Amazon Bedrock では、利用者が AWS Lambda で報酬関数を定義できる。答えの正誤のように機械で確かめられる基準を報酬にする強化学習は、RLVRと呼ばれる。

一部のパラメーターだけを更新するLoRAなどの手法

モデルのすべてのパラメーターを更新するフル ファインチューニングについて、Google Cloud は、高度で複雑な作業にもモデルを適応でき、より高い品質を得られる可能性があるとしている。一方で、学習と提供のどちらにも多くの計算資源が必要で、費用が高くなる。

パラメーターの比較的小さな一部だけを更新するパラメータ効率チューニング(アダプタ チューニング)は、フル ファインチューニングより学習に必要な計算資源が大幅に少ない。この方法では小さなデータセットでモデルをより速く適応させられると、Google Cloud は説明している。

Edward J. Hu 氏らが2021年に arXiv で公開した LoRA(Low-Rank Adaptation)は、事前学習の重みを固定し、学習できる低ランクの分解行列を各層に加える手法だ。LoRA は学習させるパラメーターの数を大きく減らすと、著者らは報告している。Google Cloud の強化学習ファインチューニングも、LoRA のアダプタを更新して報酬を高める。

ファインチューニングとプロンプト・RAGの違い

ファインチューニングは、モデルの重みを変える。プロンプトの工夫やRAG(検索拡張生成)は、モデルの重みを変えずに、使うときにモデルへ渡す情報を変える。

AI事業者ガイドラインの別添は、RAGについて、通常のファインチューニングと違ってモデルを学習し直さずに参照するデータを足せるため、費用を下げられると期待されているとしている。Microsoft も、最新の情報を得るには、ファインチューニングとは別に検索の仕組みが必要だとしている。

方法 モデルの重み 主な用途
プロンプトの工夫 変えない ラベル付きのデータが少ないときや、すばやく試作したいとき
RAG 変えない 外部の情報を検索して回答に使う。学習し直さずに参照するデータを足せる
ファインチューニング 変える 決まった形式や口調での応答、分類、ツールの使い方の改善、小さなモデルを特定の作業に特化させること

Google Cloud は、まずプロンプトを作り、必要に応じてファインチューニングで性能を高めたり繰り返し起きる誤りを直したりする順番を示している。

OpenAI は、プロンプトの工夫だけで十分な結果が得られる場合もあるとしている。同社はファインチューニングの利点として、次のようなものを挙げる。

  • 1回の依頼に収まらない数の例を学ばせられる。
  • プロンプトを短くして、大量に使うときのトークンの費用と応答の時間を抑えられる。
  • 社内の機密のデータを、毎回の依頼に含めずに学習に使える。

ファインチューニングの主なサービスと提供状況

大手のAIの開発元とクラウドの事業者は、自社のモデルや公開されたモデルをファインチューニングできるサービスを提供している。OpenAI は2026年5月から、自社のファインチューニングの提供を段階的に縮めている。

提供元 サービス 主な手法 主な対象モデル 提供状況
OpenAI OpenAI API のファインチューニング 教師あり、画像を使う教師あり、DPO GPT-4.1、GPT-4.1 mini、GPT-4o(画像) 新しい利用者は使えない。条件を満たす既存の利用者が新たな学習を始められるのは2027年1月6日まで
Google Google Cloud の Gemini Enterprise Agent Platform 教師あり、プリファレンス チューニング、強化学習 教師ありは Gemini 3.5 Flash、Gemini 3.1 Flash-Lite など。強化学習は Gemini 3.5 Flash と Gemini 3.1 Flash-Lite 提供中
Microsoft Microsoft Foundry 教師あり、DPO、強化学習 GPT-4.1、gpt-oss、Qwen3、Llama 3.3 など。GPT-5 の強化学習は招待制 提供中。一部のモデルはプレビュー
Amazon Amazon Bedrock 教師あり、強化学習、蒸留 Amazon Nova、Meta の Llama 3.1〜3.3、Anthropic の Claude 3 Haiku など 提供中。モデルごとに使える地域が決まっている

※2026年11月時点

OpenAI は2026年5月7日、自社のセルフサービスのファインチューニングの提供を変えることを利用者に知らせた。この日から、これまでにファインチューニングをしたことのない組織は学習を始められない。7月2日からは、直近60日にファインチューニングしたモデルを使っていない組織も、新たな学習を始められなくなった。

2027年1月6日には、残る既存の利用者も新たな学習を始められなくなる。

ファインチューニングの語の由来と広まった経緯

ニューラルネットワークの研究には、大まかに学習した重みをあとから細かく調整する意味で fine-tune を使った先行例がある。Geoffrey E. Hinton 氏らは2006年に Neural Computation に掲載される論文で、層ごとに速く学習させた結果を初期値にして、より時間のかかる学習で重みを細かく調整する手順を「fine-tunes the weights」と表現した。

言語モデルでは、2018年に事前学習とファインチューニングを組み合わせる手法が続けて示された。Jeremy Howard 氏と Sebastian Ruder 氏は2018年1月、言語モデルのファインチューニングを使う転移学習の手法 ULMFiT(Universal Language Model Fine-tuning)を arXiv で公開した。

Jacob Devlin 氏らは2018年10月に BERT を arXiv で公開した。著者らは、事前学習した BERT に出力の層を1つ加えてファインチューニングすれば、質問応答などの幅広い作業に使えるとした。

日本では、情報処理推進機構(IPA)のITパスポート試験のシラバス Ver.6.5 が、事前学習や転移学習と並べてファインチューニングを用語例に記載している。

生成AI活用普及協会(GUGA)が実施する生成AIパスポートの2027年2月の試験から使うシラバスは、大規模言語モデルが事前学習、ファインチューニング、RLHF(人間のフィードバックによる強化学習)という段階を経て学習することの理解を、学習の目標の1つにしている。

ファインチューニングに関する主な出来事・ニュース

ファインチューニングに関する研究

狭い作業を学ばせると関係のない質問にも不適切な応答が出うる

Jan Betley 氏らは2026年1月、Nature に掲載された論文で、利用者のコードの依頼に安全上の弱点(脆弱性)のあるコードだけで答える狭い作業を、言語モデルに学ばせた実験を報告した。

著者らの実験では、この作業を学ばせた OpenAI の GPT-4.1 が、コードと関係のない質問にも不適切な応答を返すことがあった。著者らは、こうした現象を emergent misalignment(創発的なミスアライメント)と呼んでいる。

この作業を学ばせた GPT-4.1 では、著者らが用意した質問への答えのうち約50%が不適切な応答だった。同じ作業を学ばせた GPT-4.1 mini と比べると、GPT-4.1 のほうがこの現象の度合いが大きかった。

gpt-oss の公開前に悪意あるファインチューニングを試した

Eric Wallace 氏らは2025年8月、オープンウェイトのモデル gpt-oss を公開したときに起こりうる最悪の場合のリスクを調べた論文を、arXiv で公開した。著者らは、生物とサイバーセキュリティの分野で能力ができるだけ高くなるように gpt-oss をファインチューニングする「悪意あるファインチューニング(MFT)」を試した。

リスクを測る評価で、MFT をした gpt-oss は OpenAI o3 を下回った。o3 は、生物とサイバーセキュリティの能力が OpenAI の Preparedness の枠組みで High の水準に届いていないモデルだと、著者らは説明している。

重みが公開されたほかのモデルと比べると、gpt-oss が生物の分野の能力をわずかに高める可能性はあるが、最先端を大きく進めるものではなかった。こうした結果は、gpt-oss を公開する判断の材料になったという。

ファインチューニングの注意点と法令・指針での扱い

性能の向上は約束されず、データの質が効果を左右する

Microsoft はファインチューニングを、性能の向上が約束されたものではなく、繰り返し試す作業と位置づける。学習に使わない評価用のデータを取っておけば、ファインチューニングしたモデルと元のモデルを比べられるという。

Microsoft は課題として、データの質と網羅性、学習データへの過剰な適合(過学習)、学習や評価にかかる費用、元のモデルの提供終了が近づいたときの学習のやり直しなどを挙げる。強化学習ファインチューニングでは、モデルが採点の仕組みの抜け道を突くと、報酬が上がっても作業の性能が上がったとは言えないとしている。こうした抜け道を突く行動は、報酬ハッキングと呼ばれる。

OpenAI は、データの量と質のどちらかを選ばなければならない場合、一般に質の低いデータを多く使うより質の高いデータを少なく使うほうが効果的だとしている。

OpenAI の調整したモデルは元のモデルと同時に提供を終える

OpenAI では、ファインチューニングしたモデルは、元のモデルの提供が終わるまで使える。ファインチューニングしたモデルの提供は、元のモデルと同じ日程で終わる。GPT-4.1 と GPT-4.1 mini、それらをファインチューニングしたモデルは、2027年1月14日に提供を終える予定だ。

悪意あるファインチューニングと安全の評価

AI事業者ガイドラインの別添は、悪意を持ってモデルをファインチューニングするなどして、AIモデルに設けた制御を無視した出力をさせるリスクを挙げている。ガイドラインの本編は、AIを提供する事業者や利用する事業者がファインチューニングや再学習をする場合も、AIの開発者と同じように安全性の確保に努めることが重要だとしている。

OpenAI は、ファインチューニングの学習が終わったモデルのふるまいを、13の安全の区分で評価している。区分ごとに合格の基準があり、基準を満たさない例が多ければ、同社はそのモデルをデプロイ(利用できる状態にすること)できないようにする。

特定の作品だけで追加の学習をするときの著作権

文化審議会著作権分科会の法制度小委員会は、2024年3月の「AIと著作権に関する考え方について」で、いわゆるファインチューニングなどの「追加的な学習」にも触れている。

小委員会は、学習データの著作物の創作的表現を意図的に出力させるための追加的な学習で、著作物を複製する場合を挙げている。この場合は、著作物に表現された思想や感情を味わう「享受目的」もあると評価されるという。享受目的があると、著作物を味わう目的のない利用を原則として許諾なしに認める著作権法第30条の4は適用されない。

また、小委員会は特定のクリエイターの少量の作品だけで追加的な学習をし、そのクリエイターの作風をたやすくまねられることへの懸念が示されていることにも触れている。

改変の計算量が元の3分の1を超えると提供者とみなすEUの目安

欧州委員会は、EU AI法の汎用AIモデルの提供者の義務の範囲を示した指針で、ファインチューニングを汎用AIモデルの改変の方法の1つと位置づけている。

指針は、他社のモデルを改変した事業者を改変後のモデルの提供者とみなす目安を示した。改変に使った学習の計算量が、元のモデルの学習の計算量の3分の1を超える場合だ。指針の時点ではこの目安を超える改変は少ない可能性があるものの、改変に使う計算量が増えるにつれて提供者になる事業者は増えうると、欧州委員会はみている。

ファインチューニングに関連する用語

  • RLVR:答えの正誤のように機械で確かめられる基準を報酬にしてAIモデルを鍛える強化学習のこと。
  • 継続学習:AIのモデルが前に学んだことを忘れずに、新しい知識や技能を順に身につける学び方のこと。
  • 合成データ:アルゴリズムやシミュレーション、AIモデルを使って人工的に作った、現実のデータに似せたデータのこと。
  • 蒸留攻撃:開発元の許可を得ずにAIモデルの出力を別のモデルの学習に使い、元のモデルの能力を再現しようとする行為のこと。
  • オープンウェイト:学習を終えたAIモデルの重みが公開され、利用者が入手して自分の機器やサーバーで動かせる状態のこと。
  • RAG(検索拡張生成):生成AIが社内の資料やWebなどの外部の情報源を検索し、見つけた情報を根拠に回答を生成する仕組みのこと。

ファインチューニングに関する出典

Microsoft「Fine-tuning in Microsoft Foundry」(2026年10月29日更新)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
Google Cloud「チューニングの概要」(2026年11月10日更新)
OpenAI「Model optimization」
AWS「Customize your model to improve its performance for your use case」
Edward J. Hu ほか「LoRA: Low-Rank Adaptation of Large Language Models」(2021年6月17日、arXiv)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
OpenAI「Deprecations」
OpenAI「Supervised fine-tuning」
AWS「Customize a model with fine-tuning in Amazon Bedrock」
Geoffrey E. Hinton ほか「A fast learning algorithm for deep belief nets」(2006年、Neural Computation、著者版)
Jeremy Howard、Sebastian Ruder「Universal Language Model Fine-tuning for Text Classification」(2018年1月18日、arXiv)
Jacob Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」(2018年10月11日、arXiv)
情報処理推進機構「ITパスポート試験 シラバス Ver.6.5」(2026年1月8日掲載)
生成AI活用普及協会「生成AIパスポート試験シラバス(2027年2月試験より適用)」
Jan Betley ほか「Training large language models on narrow tasks can lead to broad misalignment」(2026年1月14日、Nature)
Eric Wallace ほか「Estimating Worst-Case Frontier Risks of Open-Weight LLMs」(2025年8月5日、arXiv)
OpenAI「Fine-tuning best practices」
文化審議会著作権分科会法制度小委員会「AIと著作権に関する考え方について」(2024年3月15日)
European Commission「Commission Guidelines on the scope of the obligations for providers of general-purpose AI models established by Regulation (EU) 2024/1689 (AI Act)」(2025年11月19日)
OpenAI「Changelog」