本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

量子化(Quantization)とは・意味、仕組み・主な形式・事例

量子化とは?

量子化(Quantization)とは、AIモデルの重みなどの数値をより少ないビット数の形式で表し直し、モデルを動かすのに必要なメモリーや計算を減らす手法のこと。重みは一般に、モデルが学習で調整するパラメーターの値を指す。

Google は機械学習の用語集で、quantization を複数の意味で使われる語としている。その意味の1つが、モデルのパラメーターを保存するビット数を減らすことだ。たとえば32ビットの浮動小数点数で保存したパラメーターを、4ビット・8ビット・16ビットに変える。

量子化によって計算やメモリー、ディスク、ネットワークの使用量が減り、推論にかかる時間と消費電力も減ると、Google は説明している。一方で、モデルの予測の正しさが下がることもあるという。

NVIDIA は、推論に向けてモデルを圧縮する手法として量子化・蒸留・プルーニング(枝刈り)を挙げ、このうち最もよく使われるのは量子化だとしている。蒸留は一般に、大きなモデルの出力を使って小さなモデルを学習させる手法を指し、プルーニングはモデルの中の重要度の低い部分を取り除く手法を指す。量子化は、パラメーターの数を変えずに、1つ1つの数値を表すビット数を減らす。

日本語の一次情報では、情報処理推進機構(IPA)の試験のシラバス案が「量子化(Quantization)」と表記している。

量子化の仕組み

数値のビット数を減らしてモデルを小さくする

Google は、量子化を、色の数を減らして画像を圧縮することにたとえている。量子化では、1つの数値に16ビットを使う BF16 の代わりに、8ビットの int8 や4ビットの int4 を使う。int4 のデータの大きさは、BF16 の4分の1になる。

Gemma 3 の27B のモデルの重みを読み込むのに必要なGPUのメモリーは、BF16 では54GB、int4 では14.1GBだ。int4 にした27B のモデルは、24GBのメモリーを積んだ消費者向けのGPU「NVIDIA RTX 3090」1枚で動く。

重みのほか活性化やKVキャッシュも量子化の対象になる

量子化は、重みのほかに、計算の途中の値にも使われる。2025年の Ruikang Liu 氏らの研究は、重み・KVキャッシュ・活性化のそれぞれの量子化を調べている。活性化は一般に、計算の途中でモデルの中を流れる値を指す。KVキャッシュは一般に、文章を生成する途中で、前のトークンの計算結果を保持するメモリーを指す。

量子化の形式の名前では、重みと活性化のビット数の組み合わせを「W4A16」のように書く。Google は Gemma 4 の量子化版の1つを、4ビットの重みと16ビットの活性化を使う形式として配布している。Apple は2025年の端末向けとサーバー向けのモデルで、KVキャッシュを8ビットに量子化した。

QATは学習の段階から量子化に備える

学習を終えたモデルをあとから量子化する方法を、Google は Post-Training Quantization(PTQ)と呼ぶ。同社は、PTQ では学習を終えたモデルを圧縮するため、品質が落ちることがあるとしている。

Quantization-Aware Training(QAT)は、PTQ と違い、量子化をまねた計算を学習の中に組み込む方法だ。QAT ではモデルが精度の低下を補うように学習し、小さくても元の精度の高いモデルとほぼ同じ性能を出すことができると、Google は説明している。

小さな塊ごとに倍率を持たせる形式もある

NVIDIA は、ビット数のごく少ない形式では、幅の広い値を正確に表し続けることが課題になると説明している。この課題に対して、いくつかの値をまとめた塊ごとに共通の倍率を持たせる形式が使われている。AMD・Arm・Intel・Meta・Microsoft・NVIDIA・Qualcomm の7社は2023年、こうした形式の仕様として Microscaling(MX)をまとめた。

MX の4ビットの形式 MXFP4 は、32個の値ごとに共通の倍率を1つ持つ。NVIDIA の NVFP4 は16個の値ごとに FP8 の倍率を持ち、さらにテンソルと呼ぶ数値の配列の全体に32ビットの倍率を持つ。16個ごとの倍率の分を含めると、NVFP4 は1つの値あたり4.5ビットになる。

量子化で使われる主な数値の形式

形式 1つの数値のビット数 主な使用例
BF16 16 Gemma 4 の標準の精度、Muse Spark Open の基準の重み
SFP8・FP8・INT8 8 Gemma 4 のメモリーの目安の表にある8ビットの段階(SFP8)、AMD が作った Muse Spark Open の版(FP8)、多くのNPUが対応する整数の形式(INT8)
int4・Q4_0 4 Gemma 3・Gemma 4 の QAT 版
MXFP4 4(32個の値ごとに共通の倍率) OpenAI の gpt-oss の重み、MX の仕様の形式の1つ
NVFP4 4(16個の値ごとに FP8 の倍率。1つの値あたり4.5ビット) NVIDIA の Blackwell のGPU、Muse Spark Open

※2026年11月時点

量子化の由来と広まった背景

ニューラルネットワークの量子化の研究は、生成AIの前からあった。Benoit Jacob 氏らは2017年12月に、整数の計算だけで推論できる量子化の方式と、量子化のあとも精度を保つための学習の手順を提案する論文を arXiv で公開している。著者らは、スマートフォンなどの端末の上で効率よく推論することを目的に挙げた。

大規模言語モデル(LLM)向けにも、量子化の手法が提案されてきた。Tim Dettmers 氏らは2022年8月、推論に大量のGPUのメモリーが必要なことを課題に挙げ、Transformer の一部の計算を8ビットの整数で行う手法 LLM.int8() を提案した。

Elias Frantar 氏らは2022年10月に、学習を終えた GPT のモデルの重みを量子化する手法 GPTQ を提案した。著者らは論文の題で、GPTQ を学習のあとに量子化する「Post-Training Quantization」の手法と位置づけた。

半導体やITの大手企業も、少ないビット数の数値の形式を整えた。MX の仕様をまとめた7社は、AIの学習と推論に使う6ビットと4ビットのデータの形式をつくり、標準にすることを目的に掲げた。NVIDIA は、Blackwell の世代のGPUで、4ビットの浮動小数点の形式 NVFP4 を導入した。

重みを公開するモデルの提供元が、自ら量子化版を配る例も現れた。OpenAI は2025年8月に、gpt-oss の重みを MXFP4 で量子化した形で公開した。重みが公開され、利用者が手元で動かせる状態は、一般にオープンウェイトと呼ばれる。

量子化に関する主な出来事・ニュース

量子化に関する事例・研究

Apple は端末向けのモデルの重みを2ビットにした

Apple は2025年6月、端末向けの約30億パラメーターの言語モデルを、QAT で1つの重みあたり2ビットに圧縮したと発表した。埋め込みの表は4ビット、KVキャッシュは8ビットに量子化した。そのうえで、圧縮で落ちた品質を取り戻すため、追加のデータで小さなアダプターを学習させた。

Muse Spark Open は機器ごとに量子化の形式が分かれた

Meta は2026年10月、MoE(Mixture of Experts)のモデル Muse Spark Open の重みを、BF16 と NVFP4 の2つの形式で公開した。NVFP4 の版では、エキスパートと呼ぶ部分だけを量子化した。

Muse Spark Open のほかの形式の版は、半導体の会社などが作った。AMD は自社のGPU向けに FP8 と MXFP4 の版を、Intel は開発中のGPU向けの MXFP4 と Xeon 6 向けの INT4 の版を用意した。

手元でモデルを動かす道具を提供する Unsloth は、最小で約2ビットまで圧縮した GGUF という形式の版を作り、llama.cpp で手元で動かせるようにした。

NVFP4 の版は、M5 Ultra と512GBのメモリーを積んだ Mac Studio 2台で動かすことができると、Meta は説明している。

推論モデルは低いビット数にすると精度が落ちるおそれがある

Liu 氏らは2025年4月に、量子化した推論モデルを調べた論文を arXiv で公開した。対象は、DeepSeek-R1 の蒸留版の Qwen と LLaMA の系統(15億〜700億パラメーター)、QwQ-32B、Qwen3-8B だ。数学・科学・プログラミングの評価で、重み・KVキャッシュ・活性化の量子化を、いくつかのビット数で試した。

評価の結果、W8A8 や W4A16 なら精度を落とさずに量子化できる一方、それより低いビット数では精度が大きく落ちるおそれがあったと、著者らは報告している。結果を左右する主な要因として、著者らはモデルの大きさ、元のモデルの系統、課題の難しさを挙げた。量子化したモデルの出力は、予想に反して長くならなかった。

Qwen3 は極端に低いビット数で言語の課題の性能が落ちた

Xingyu Zheng 氏らは2025年5月に、Qwen3 を量子化した結果を調べた論文を arXiv で公開した。著者らは、学習のあとに量子化する従来の5つの手法を、1ビットから8ビットまでの幅で Qwen3 に当てて評価した。

Qwen3 は中程度のビット数では見劣りしない性能を保った一方、極端に低いビット数では言語の課題で性能がはっきり落ちたと、著者らは報告している。

量子化の英語での言い方

英語表記 意味 使用主体
quantization モデルのパラメーターを保存するビット数を減らすこと Google
post-training quantization(PTQ) 学習を終えたモデルを量子化すること Google、Frantar 氏ら
quantization-aware training(QAT) 量子化をまねた計算を学習に組み込み、精度の低下に備えること Google、Apple
weight-only quantization 重みだけを量子化すること Meta の案内(Intel の INT4 の版)
KV cache quantization KVキャッシュを量子化すること Liu 氏ら
W4A16・W8A8 重みと活性化のビット数の組み合わせ(W4A16 は重みが4ビット、活性化が16ビット) Google、Liu 氏ら
bits per weight(bpw) 1つの重みあたりのビット数 Apple
microscaling(MX) 値の小さな塊ごとに共通の倍率を持たせる形式 Open Compute Project、NVIDIA

量子化を出題範囲に含む資格・試験

日本ディープラーニング協会(JDLA)のE資格のシラバス(2026年8月の試験から適用)は、「エッジコンピューティング」の中の「モデルの軽量化」に、プルーニング(枝刈り)や蒸留と並べて「量子化(Quantization)」を挙げている。

IPA は2026年10月30日、2027年度から始める予定のプロフェッショナルデジタルスキル試験(仮称)のうち、データ・AIの試験のシラバス案 Ver.0.1 を掲載した。このシラバス案も、生成AIの技術の「モデルの軽量化」に、プルーニング(枝刈り)・蒸留・量子化を挙げている。

量子化したモデルを使うときの注意点

品質の差は課題や条件によって出る

Meta は Muse Spark Open のモデルのページで、量子化して動かすと、元の精度のときと比べて一部の場面で品質に小さな差が出ることがあるとしている。Google は Gemma 4 の説明で、パラメーターとビット数が少ないモデルは能力が下がるが、用途によっては十分な場合があるとしている。

動かす機器によって使える形式が違う

Microsoft の開発者向けの案内では、AIのモデルは FP32 のような大きなデータの形式で学習・提供されることが多い。一方、AIの計算に特化した半導体であるNPUの多くは、INT8 のような少ないビット数の整数の計算にしか対応しない。そのため、モデルをNPUで動かすには量子化が必要だ。端末の中でAIを動かす使い方は、一般にオンデバイスAIと呼ばれる。

また、NVFP4 のように、特定のGPUの世代で導入された形式もある。Muse Spark Open の例のように、同じモデルでも、動かす機器に合わせて別々の量子化版が用意されることがある。

Gemma 4 のメモリーの目安はコンテキストの分を含まない

Gemma 4 の量子化の段階ごとのメモリーの目安は、モデルの重みを読み込む分に20%の上乗せを加えた概算だと Google は説明している。目安の数字は、推論に使う道具や環境によって変わることがある。この目安は、動かすソフトウェアや、コンテキストウィンドウの分を含まない。KVキャッシュに使うメモリーは、入力と応答のトークンの合計が増えるほど大きくなる。

公式の量子化版と、ほかの配布元の版がある

Google は Gemma 3 の QAT 版を公式に配る一方、Hugging Face では利用者のコミュニティが作った Gemma 3 の量子化版も多く配られていると紹介している。こうした版の多くは PTQ を使っていて、大きさ・速さ・品質の釣り合いの選択肢が広いという。

量子化に関連する用語

  • 小規模言語モデル(SLM):大規模言語モデル(LLM)よりパラメーターの数を抑え、限られた計算資源で動くように設計された言語モデルのこと。
  • オンデバイスAI:スマートフォンやパソコンなどの端末の中でAIのモデルを動かし、データをクラウドのサーバーに送らずに処理する使い方のこと。
  • オープンウェイト:学習を終えたAIモデルの重み(weights)が公開され、利用者が入手して自分の機器やサーバーで動かせる状態のこと。
  • MoE(Mixture of Experts):AIモデルの中に複数の「エキスパート」を用意し、トークンごとにその一部だけを選んで計算に使うモデルの作りのこと。

量子化に関する出典

Google「Machine Learning Glossary」(2026年11月6日更新)
NVIDIA「Introducing NVFP4 for Efficient and Accurate Low-Precision Inference」(2025年6月24日)
情報処理推進機構「プロフェッショナルデジタルスキル(データ・AI)試験(仮称)シラバス(案)Ver.0.1」(2026年10月30日)
Google「Gemma 3 QAT Models: Bringing state-of-the-Art AI to consumer GPUs」(2025年4月18日)
Ruikang Liu ほか「Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models」(2025年4月7日、2025年8月18日改訂、arXiv)
Google「Gemma 4 model overview」
Apple「Updates to Apple’s On-Device and Server Foundation Language Models」(2025年6月9日、7月17日更新)
Open Compute Project「AMD, Arm, Intel, Meta, Microsoft, NVIDIA, and Qualcomm Standardize Next-Generation Narrow Precision Data Formats for AI」(2023年10月17日)
Meta「Build with Muse Spark Open」(2026年10月15日)
Microsoft「Copilot+ PCs developer guide」(2025年11月17日更新)
OpenAI「Introducing gpt-oss」(2025年8月5日)
Benoit Jacob ほか「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」(2017年12月15日、arXiv)
Tim Dettmers ほか「LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale」(2022年8月15日、2022年11月10日改訂、arXiv)
Elias Frantar ほか「GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers」(2022年10月31日、2023年3月22日改訂、arXiv)
Xingyu Zheng ほか「An Empirical Study of Qwen3 Quantization」(2025年5月4日、arXiv)
日本ディープラーニング協会「E資格 試験出題範囲(シラバス 2026)」(2025年10月14日)
情報処理推進機構「新試験制度のシラバス案について」(2026年10月30日更新)
Meta「meta-models/Muse-Spark-Open-816B-A42B」(Hugging Face)

量子化に関連する記事