蒸留(Knowledge Distillation)とは・意味、仕組み・主なサービス・蒸留攻撃との違い

蒸留とは?
蒸留(Knowledge Distillation)とは、大きく性能の高い「教師」モデルの出力を手本にして、小さく軽い「生徒」モデルを学習させ、教師に近い答えを出せるようにする機械学習の手法のこと。
英語では knowledge distillation と記し、単に distillation とも呼ぶ。Google は機械学習の用語集で、教師モデルの予測をできるだけ忠実にまねる小さな生徒モデルへとモデルの大きさを縮める過程を、蒸留と説明している。
日本語では、Microsoft が用語解説で「蒸留」と表記し、Sakana AI は研究の発表で「知識蒸留」と表記している。Microsoft は、小規模言語モデル(SLM)の主な種類の1つに、大きなモデルを蒸留した版を挙げている。
Google は、生徒モデルが教師モデルより推論が速く、メモリーとエネルギーの使用も少ないとしている。
開発元の許可を得ずに他社のモデルの出力を集め、その能力を再現しようとする行為は、蒸留と区別して蒸留攻撃と呼ばれる。
蒸留の仕組み
蒸留では、先に学習を終えた大きなモデルを教師にし、作りたい小さなモデルを生徒にする。教師から生徒へ知識を移す方法には、教師が生成した答えを学ばせる方法と、教師が出した確率の分布をまねさせる方法がある。
教師が生成した答えで生徒を追加学習させる方法
最も一般的な蒸留では、教師モデルにまとめて推論をさせてデータにラベルを付けると、Google は機械学習の講座で説明している。そのデータで生徒モデルを学習させ、ラベルの付いたデータが教師の知識を生徒へ渡す通り道になるという。
Amazon Bedrock Model Distillation では、利用者が用途に合わせたプロンプトを用意する。Amazon Bedrock はそのプロンプトで教師モデルに応答を作らせ、その応答で生徒モデルをファインチューニングする。
また、Amazon Bedrock は教師の応答を多様にするために、似たプロンプトを作るなどのデータ合成の手法を足すこともある。AWS は、こうして教師モデルから作る応答を合成データ(synthetic data)と呼んでいる。
出典:AWS「Customize a model with distillation in Amazon Bedrock」
AWS「Prerequisites for model distillation」
以上をもとに編集部作成
OpenAI は、大きなモデルの結果から小さなモデルの学習データを作る方法を、教師ありファインチューニングの手引きで説明している。gpt-4.1 などの大きなモデルでプロンプトを調整し、基準を満たした応答を集めてデータセットを作り、gpt-4.1-mini などの小さなモデルを学習させる流れだ。
教師の確率の分布を生徒にまねさせる方法
言語モデルは、次に来る語の候補ごとに確率を出す。知識蒸留では正解だけでなく、ほかの候補にどのくらいの確率を割り振ったかという教師モデルの判断も生徒モデルに伝えられると、Sakana AI は解説している。
Google の Gemma 3 では、1つのトークンごとに教師の確率で重みを付けて256の候補を選び、その範囲で教師の分布を生徒に学ばせた。トークンは、AIが文章を区切って扱う単位だ。
Qwen3 を開発した Qwen チームは、生徒モデル自身に応答を生成させ、その応答に対する生徒の出力を教師モデルの出力に近づける方法も使った。チームはこれを on-policy distillation と呼んでいる。
蒸留とファインチューニング・蒸留攻撃・量子化の違い
蒸留はファインチューニングの手本を教師モデルから得る
クラウドのサービスでは、蒸留はファインチューニングの1つの形として用意されている。Google Cloud はオープンモデルのチューニングで、教師ありファインチューニングと、教師モデルが作った応答で生徒モデルを調整する蒸留のファインチューニングを分けて説明している。
Google Cloud によると、蒸留が最も効果を上げるのは、目的の作業で教師モデルの性能が生徒モデルを大きく上回るときだ。生徒がすでに教師に近い性能を持つ作業や、教師の推論の過程が役に立たない短い検索の作業では、得られる改善は小さい。
蒸留攻撃との違いは許可と使える情報
Google や Anthropic、OpenAI なども会員のAIの業界団体 Frontier Model Forum は、社内で行う蒸留と、オープンソースのモデルのライセンスが認める蒸留を「許可された蒸留」と呼ぶ。許可された蒸留では、教師モデルの入力と出力で学ばせる方法のほか、教師の内部の確率の分布や途中の値を使う方法もある。
一方、蒸留攻撃にあたる「敵対的な蒸留」(adversarial distillation)は多くの場合、開発元に隠れて、または間接的にモデルを使う形で行われると、Frontier Model Forum は説明している。その場合、攻撃者が手にできるのは教師モデルの出力だけだ。開発元の利用規約やライセンスに反することも多い。
量子化は数値の表し方を変えてモデルを軽くする
量子化は一般に、モデルの数値を少ないビット数で表して軽くする手法を指す。蒸留が小さな別のモデルを学習させるのに対し、量子化は同じモデルの数値の表し方を変える。Google は Gemma 3 で、蒸留で学習したモデルとは別に、量子化した版も公開した。
蒸留の主なサービスと提供状況
OpenAI、Google、Microsoft、Amazon は、教師モデルの応答で生徒モデルを学習させる機能を、ファインチューニングのサービスの中で用意している。OpenAI は新しい利用者の受け付けをすでに止めている。
| 提供元 | サービス | 蒸留の方法 | 主な教師モデル・生徒モデル | 提供状況・料金 |
|---|---|---|---|---|
| OpenAI | OpenAI API の教師ありファインチューニング | 大きなモデルの応答でデータセットを作り、小さなモデルを教師ありファインチューニング | 例として gpt-4.1 と gpt-4.1-mini | 新しい利用者は使えない。条件を満たす既存の利用者も、2027年1月6日からは新たな学習を始められない |
| Google Cloud の Gemini Enterprise Agent Platform のオープンモデルのチューニング | 教師モデルが作った応答で、小さな生徒モデルをチューニング | 教師は GLM 5.2、生徒は Qwen 3 の4B〜32B、Gemma 3 の1B〜27B | 提供中。チューニングの料金に加え、応答を作る教師モデルの呼び出しにも料金がかかる | |
| Microsoft | Microsoft Foundry | 教師モデルが作った教師ありファインチューニングのデータによる蒸留 | モデルごとに対応が異なる | 提供中。Python で学習の手順を書く Programmed Training はプレビューで、利用には承認が必要 |
| Amazon | Amazon Bedrock Model Distillation | 教師モデルの応答で生徒モデルをファインチューニング。データ合成を足すこともある | 教師は Amazon Nova Premier・Nova Pro、Meta の Llama 3.1 405B・3.3 70B など。生徒は Nova Lite・Nova Micro、Llama 3.2 1B・3B など | 2025年5月1日に正式に提供を始めた。Anthropic のモデルでは使えず、再開の時期は決まっていない。データ合成を使うと、教師モデルの推論の料金が別にかかる |
※2026年11月時点
OpenAI は2026年5月7日から、セルフサービスのファインチューニングの提供を段階的に縮めている。2027年1月6日には、残る既存の利用者も新たな学習を始められなくなる。
蒸留の由来と広まった経緯
機械学習の「蒸留」の語は、2015年3月に Geoffrey Hinton 氏、Oriol Vinyals 氏、Jeff Dean 氏が arXiv で公開した論文「Distilling the Knowledge in a Neural Network」で使われた。著者らは、大きく扱いにくいモデルから、実際に使うのに適した小さなモデルへ知識を移す学習を「distillation」と呼んだ。
著者らは論文の要旨で、複数のモデルの知識を1つのモデルに圧縮できることは、Rich Caruana 氏らが先に示したと記している。論文は、その考え方を別の圧縮の手法で発展させたものだ。
大規模言語モデル(LLM)では、大きなモデルの推論の力を小さなモデルへ移すのにも蒸留が使われている。DeepSeek は2025年1月、推論モデル DeepSeek-R1 と、R1 から蒸留した6つの小さなモデルを公開した。
Yoshua Bengio 氏が率い、100人を超えるAIの専門家が書いた国際的な報告書「International AI Safety Report 2026」は、2025年1月の前回の報告書のあとに、蒸留によって一部のモデルのファインチューニングの効率が大きく上がったとしている。
蒸留に関する主な出来事・ニュース
– 2015年3月9日 Hinton 氏ら「Distilling the Knowledge in a Neural Network」を公開:Geoffrey Hinton 氏らは、複数のモデルの知識を1つのモデルに蒸留する手法を示した論文を arXiv で公開した。
– 2024年10月1日 OpenAI、Model distillation の提供を開始:OpenAI は、大規模な最先端のモデルの出力を使い、費用の安いモデルをファインチューニングする仕組みを、DevDay で公開した新機能の1つとして発表した。
– 2025年1月20日 DeepSeek「DeepSeek-R1」を公開:DeepSeek は、推論モデル DeepSeek-R1 と、R1 から蒸留した6つの小さなモデルを公開した。API の出力をファインチューニングや蒸留に使えるとした。
– 2025年3月25日 Gemma Team「Gemma 3 Technical Report」を公開:Google DeepMind の Gemma Team は、Gemma 3 のモデルを蒸留で学習したとする技術報告を arXiv で公開した。
– 2025年4月5日 Meta「Llama 4」を発表:Meta は、Llama 4 Maverick などを公開し、より大きな Llama 4 Behemoth からの蒸留で性能を高めたと説明した。
– 2025年5月1日 AWS、Amazon Bedrock Model Distillation を正式に提供:AWS は、教師モデルから生徒モデルへ知識を移す Amazon Bedrock の機能の正式な提供を始めた。
## 蒸留に関する事例・研究
Gemma 3 はすべてのモデルを蒸留で学習
Google DeepMind の Gemma Team は2025年3月の技術報告で、パラメーターが10億〜270億の Gemma 3 のすべてのモデルを知識蒸留で学習したと記した。チームは事前学習で蒸留を使い、指示に従うよう仕上げる事後学習でも、大きな教師モデルからの蒸留を使った。
Llama 4 Maverick は大きな教師モデルから共同で蒸留
Meta は2025年4月、より大きな Llama 4 Behemoth を教師にして Llama 4 Maverick を蒸留したと発表した。Behemoth は当時まだ学習の途中で、公開されていなかった。Behemoth は、1つのトークンの処理で使うパラメーターが2,880億、パラメーターの総数が2兆近くある、16のエキスパートを持つ MoE のモデルだ。
事前学習の間に Behemoth から共同で蒸留する「codistillation」によって、学習データの大半で蒸留の目標を作るのに必要な重い計算の費用をならせたと、Meta は説明している。同社は、学習の途中で軟らかい目標と硬い目標の重みを変える、新しい蒸留の損失関数も作った。軟らかい目標は一般に教師が出した確率の分布、硬い目標はデータの正解を指す。
DeepSeek は R1 が作ったデータで小さなモデルを学習
DeepSeek-R1 から蒸留した6つのモデルは、Qwen2.5 と Llama 3 の系列をもとにしたもので、パラメーターは15億〜700億だ。これらは公開されているモデルを、DeepSeek-R1 が作ったサンプルでファインチューニングしたものだと、DeepSeek は説明している。
DeepSeek は、DeepSeek-R1 のモデルを MIT ライセンスで公開した。同社は、ほかの LLM の学習のための蒸留を含めて、改変や派生物を作ることを認めている。学習を終えたモデルの重みが公開され、利用者が手元で動かせる状態は、オープンウェイトと呼ばれる。
Qwen3 の実験では蒸留が強化学習より少ない計算で上回った
Qwen チームは、Qwen3 のうちパラメーターが6億〜140億の5つのモデルと MoE の Qwen3-30B-A3B を、大きなモデルからの「Strong-to-Weak Distillation」で学習させた。大きなモデルの知識を使うことで、小さなモデルを作る計算の費用と開発の手間を大きく減らせたという。
Qwen3-8B の数学とコードの問題で同じ出発点から on-policy distillation と強化学習を比べると、蒸留のほうが性能が大きく上回り、使ったGPUの時間は強化学習の約10分の1だったという。
Sakana AI らは知識蒸留で日本語の小型モデルを作った
Sakana AI は2025年1月、新しい知識蒸留の手法 TAID と、TAID で作った日本語の小規模言語モデル TinySwallow-1.5B を公開した。TAID は、生徒モデルの学習が進むにつれて、手本にする教師モデルを段階的に切り替える。
TinySwallow-1.5B は、Sakana AI が東京科学大学の Swallow チームと共同で開発したモデルだ。320億パラメーターのLLMから約20分の1の大きさの15億パラメーターのモデルへ、TAID で知識蒸留して作った。このモデルはスマートフォンのような端末の上でも、ネットにつながずに動かせるという。端末の中でAIを動かす使い方は、オンデバイスAIと呼ばれる。
蒸留の英語での言い方
| 英語表記 | 意味 | 使用主体 |
|---|---|---|
| knowledge distillation | 知識蒸留 | Gemma Team |
| model distillation | モデル蒸留 | AWS、OpenAI |
| teacher model/student model | 教師モデル/生徒モデル | Google、AWS |
| distillation fine-tuning | 蒸留によるファインチューニング | Google Cloud |
| codistillation | 共同蒸留。Meta は Llama 4 の事前学習の間に使った | Meta |
| strong-to-weak distillation | 大きく強いモデルから小さなモデルへの蒸留 | Qwen チーム |
| on-policy distillation | 生徒が生成した応答で、生徒の出力を教師の出力に近づける蒸留 | Qwen チーム |
蒸留の限界と規約・指針での扱い
生徒モデルは教師モデルの予測に届かないことが多い
Google は、蒸留したモデルの予測は、一般に元のモデルの予測にはわずかに及ばないとしている。パラメーターの多いLLMはほとんどの場合、少ないLLMよりよい予測をするという。
International AI Safety Report 2026 は、蒸留には先に教師モデルが必要なので、蒸留だけで最先端の能力を直接押し上げることはできないとしている。一方で、蒸留によって非公開のモデルからも高度な能力が広がるのが速まりうるという。
教師モデルの規約は蒸留したモデルにも及ぶ
教師に使うモデルのライセンスや利用規約によって、蒸留して作ったモデルに求められる条件が変わる。
Gemma 3 などを対象にした Google の Gemma の利用規約は、Gemma の重みや出力などのパターンを移して Gemma に似た働きをさせるモデルを、「Model Derivatives」(派生モデル)に含めている。規約はその例に、途中のデータの表現を使う蒸留や、Gemma の出力で作った合成データを使う方法を挙げている。
Gemma や Model Derivatives を配るときは、規約が定める使い方の制限を契約に盛り込むことなどが条件になる。Meta の Llama 4 のライセンスは、Llama 4 やその出力を使って作ったAIモデルを配ったり提供したりするとき、モデルの名前の頭に「Llama」を付けるよう求めている。
EU AI法の指針は親モデルの学習の計算を数えなくてよいとする
欧州委員会はEU AI法の汎用AIモデルの提供者の義務の範囲を示した指針で、蒸留や量子化、重みの統合のような手法を使うと1つのモデルの区切りが分かりにくくなるとした。大規模な事前学習のあとに提供者が自ら、または提供者の依頼で他者が続ける開発は、同じモデルのライフサイクルの一部とされる。
蒸留に使った親のモデルの学習の計算は、学習の計算量の累計に含めなくてよい計算の例の1つとして、欧州委員会の指針に挙げられている。
蒸留に関連する用語
- 蒸留攻撃:開発元の許可を得ずにAIモデルの出力を別のモデルの学習に使い、元のモデルの能力を再現しようとする行為のこと。
- 小規模言語モデル(SLM):大規模言語モデル(LLM)よりパラメーターの数を抑え、限られた計算資源で動くように設計された言語モデルのこと。
- ファインチューニング:事前学習を終えたAIモデルに特定の用途のデータで追加の学習をさせ、モデルの重みを調整して目的の作業に適応させる手法のこと。
- 合成データ:アルゴリズムやシミュレーション、AIモデルを使って人工的に作った、現実のデータに似せたデータのこと。
- オンデバイスAI:スマートフォンやパソコンなどの端末の中でAIのモデルを動かし、データをクラウドのサーバーに送らずに処理する使い方のこと。
蒸留に関する出典
Google for Developers「Machine Learning Glossary」(2026年11月6日更新)
Microsoft「小規模言語モデル (SLM) とは?」
Sakana AI「新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開」(2025年1月30日)
Google for Developers「LLMs: Fine-tuning, distillation, and prompt engineering」(2025年12月3日更新)
AWS「Customize a model with distillation in Amazon Bedrock」
OpenAI「Supervised fine-tuning」
Gemma Team「Gemma 3 Technical Report」(2025年3月25日、arXiv)
An Yang ほか「Qwen3 Technical Report」(2025年5月14日、arXiv)
Google Cloud「Supervised and distillation fine-tuning for open models」(2026年11月10日更新)
Frontier Model Forum「Membership」
Frontier Model Forum「Adversarial Distillation」(2026年2月23日)
OpenAI「Deprecations」
Microsoft「Fine-tuning in Microsoft Foundry」(2026年10月29日更新)
AWS「Prerequisites for model distillation」
AWS「Amazon Bedrock Model Distillation is now generally available」(2025年5月1日)
Geoffrey Hinton、Oriol Vinyals、Jeff Dean「Distilling the Knowledge in a Neural Network」(2015年3月9日、arXiv)
DeepSeek「DeepSeek-R1 Release」(2025年1月20日)
Yoshua Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
Meta「The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation」(2025年4月5日)
DeepSeek-AI「deepseek-ai/DeepSeek-R1」(Hugging Face)
OpenAI「Changelog」
Google「Gemma Terms of Use」(2026年4月1日更新)
Meta「Llama 4 Community License Agreement」(2025年4月5日)
European Commission「Commission Guidelines on the scope of the obligations for providers of general-purpose AI models established by Regulation (EU) 2024/1689 (AI Act)」(2025年11月19日)




