本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

拡散言語モデル(Diffusion Language Model)とは・意味、仕組み・主なモデル・由来

拡散言語モデルとは?

拡散言語モデル(Diffusion Language Model)とは、画像生成で使われてきた拡散モデルの手法を文章の生成に応用し、複数のトークンを並行して少しずつ整えながら文章を作る言語モデルのこと。トークンは、AIが文章を処理するときの文字のまとまりを指す。

大規模言語モデルを研究開発する ELYZA は、2026年1月に公開した日本語のモデルを「拡散言語モデル」と呼び、拡散大規模言語モデル(Diffusion Large Language Model、略称 dLLM)とも書いている。同社は拡散言語モデルを、段階的にノイズを取り除いて文章を生成する新しい型のAIモデルと説明する。

従来の大規模言語モデル(LLM)の多くは、自己回帰モデルと呼ばれる作りで、文章を左から右へ1トークンずつ生成する。拡散言語モデルは、この順番に縛られずに、文章のまとまりを同時に作れる点が違う。

拡散言語モデルの仕組み

自己回帰モデルは前のトークンが決まるまで次を作れない

拡散言語モデルを開発する Inception は、2025年2月の発表で、今の大規模言語モデルは自己回帰で動くと説明した。自己回帰では、前の文章がすべて生成されるまで次のトークンを作れない。トークンを1つ作るたびに数十億のパラメーターを持つネットワークを計算する必要があるという。

Inception の説明では、拡散モデルは、純粋なノイズの状態から出力を数回の「ノイズ除去」の段階で整える。この生成の進め方を、同社は「粗いものから細かいものへ」と表している。

仮のトークンを並べた枠を何回かに分けて書き直す

Google の DiffusionGemma は、生成を始めるときに、ランダムな仮のトークンを並べた枠を用意する。モデルはこの枠を並行して何度も書き直し、確信の高いトークンを手がかりに周りの位置を決める。

枠の大きさは256トークンだ。256トークンを超える文章では、1つの枠を書き終えるとその内容を確定させ、それまでの文章を前提に次の枠に移る。Google は、枠を1つずつ確定させて次の枠へ進むこの生成を、拡散の並行の速さと自己回帰の安定を組み合わせたものと説明している。

枠の中のトークンは、注意(attention)と呼ばれる仕組みで、ほかのすべてのトークンを参照できる。この双方向の注意によって、モデルは生成の途中で枠の全体を見直し、確信の下がったトークンを置き換えて誤りを直すことができる。

速さは手元のGPUで少人数が使う場面で出やすい

自己回帰のモデルを手元のGPUで1人の利用者のために動かすと、生成の速さはメモリーからモデルの重みを読み込む速さで頭打ちになると、Google は説明している。DiffusionGemma は、GPUに一度に大きな計算をさせることで、速さを決める要因をメモリーの帯域から計算の速さへ移す。

Google は、多くの依頼を同時に処理するクラウドの運用では、自己回帰のモデルでも計算資源を使い切れるとしている。そうした環境では並行の生成の利点が小さくなり、運用の費用がかえって高くなることもあるという。

拡散言語モデルの主なモデル

提供元 モデル 規模 提供形態
Google DiffusionGemma パラメーターの総数260億のMoE。推論のときに動かすのは38億 実験的なオープンモデル。Apache 2.0 のライセンスで重みを Hugging Face で公開
Google Gemini Diffusion 記載なし 実験的なデモ
ELYZA ELYZA-Diffusion-Base-1.0-Dream-7B、ELYZA-Diffusion-Instruct-1.0-Dream-7B HKU NLP Group の Dream-v0-Instruct-7B がもと 商用利用できる形で Hugging Face で公開
Inception Mercury 3 Mercury 1 のパラメーターの総数の40倍超 Inception の API、OpenRouter、Baseten、Vercel。通常の料金は入力100万トークンあたり0.20ドル、出力100万トークンあたり0.70ドル
NVIDIA Nemotron-Labs-Diffusion 30億、80億、140億のパラメーター Hugging Face で公開

※2026年11月時点

DiffusionGemma は、Google の Gemma 4 のモデル群をもとにしている。MoE(Mixture of Experts)は一般に、モデルの中の複数のエキスパートのうち一部だけを選んで計算に使う作りを指す。

Inception は Mercury 3 の提供開始に合わせて料金を半額にし、入力100万トークンあたり0.10ドル、出力100万トークンあたり0.35ドルとした。2026年11月時点でも、Mercury 3 の料金はこの半額のままだ。Mercury 3 は1回に扱える文章の量の上限が100万トークンで、NVIDIA のGPUで1秒に1,068トークンを生成すると同社は公表している。

拡散言語モデルの由来と広まった経緯

拡散モデルは、もともと画像や音声の生成で使われてきた手法だ。Jacob Austin 氏らは2021年7月、文字や語のような離散的なデータを扱う拡散モデル D3PM の論文を arXiv で公開し、文字単位の文章の生成にも当てはめた。

Xiang Lisa Li 氏らは2022年5月の論文で、連続的な拡散にもとづく自己回帰でない言語モデルを作り、Diffusion-LM と呼んだ。

文章を拡散で生成する研究は何年も続いてきたものの、大きなモデルへの応用は難しかったと、Google は振り返っている。Shen Nie 氏らは2025年2月、事前学習と教師ありファインチューニングの流れで一から学習させた拡散モデル LLaDA の論文を arXiv で公開した。著者らによると、LLaDA は規模を大きくすると性能が伸び、自分たちで用意した自己回帰のモデルと同程度の性能を示した。

2025年2月には、Inception が拡散大規模言語モデル(dLLM)の Mercury を発表した。同社は Mercury を、商用の規模で初めての拡散大規模言語モデルと位置づけた。Google DeepMind も2025年5月、実験的な研究のモデル Gemini Diffusion のデモを公開した。

2026年には、拡散言語モデルの公開が相次いだ。ELYZA は1月に日本語の拡散言語モデルを公開し、NVIDIA などの研究者らは5月に Nemotron-Labs-Diffusion のモデル群を示した。Google は6月に DiffusionGemma を公開した。

Inception は2026年2月、拡散の仕組みで動く推論モデルとして Mercury 2 を発表した。同社は、答えの質を上げるためにテスト時計算を増やすと応答が遅く費用も高くなると指摘し、拡散による速さでこの釣り合いを変えられると主張している。

Mercury 3 は2026年10月に発表された。Inception は、Mercury 1 からパラメーターの総数を40倍超に増やしたと説明し、自己回帰のモデルの進歩を支えたスケーリング則が拡散のモデルにも当てはまると主張している。スケーリング則は、モデルの規模や計算量を増やしたときの性能の伸びを表す経験則を指す。

拡散言語モデルに関する主な出来事・ニュース

拡散言語モデルに関する事例・研究

Mercury 3 の先行利用の用途は音声サポートやWeb操作

Inception は Mercury 3 の発表で、先行して使う企業の用途として、音声とチャットのサポート、リアルタイムの学習支援、データエンジニアリング、Webの操作を挙げた。同社は、Webを操作するエージェントは手順ごとにモデルの応答を待つため小さな遅れがすぐに積み重なるとし、Mercury は1回ごとの処理を速く保てると説明している。

1つのモデルで自己回帰と拡散を切り替える

NVIDIA などの研究者らが2026年5月に公表した Nemotron-Labs-Diffusion は、自己回帰と拡散の両方の目的で学習させた言語モデルだ。使う環境や同時に処理する依頼の数に応じて生成の方式を切り替え、高い処理量を保てるようにしている。

研究者らによると、拡散は先を見越した組み立てを助け、自己回帰は左から右への言葉の流れの知識を与えるため、2つの学習の目的は補い合う。80億パラメーターのモデルは、モデルを1回計算するごとに Qwen3-8B の5.9倍のトークンを生成し、精度も上回ったという。

Google は数独を例にファインチューニングの手順を公開した

Google は DiffusionGemma の開発者向けの解説で、モデルを用途に合わせて調整する例として、数独を解く課題でのファインチューニングの手順と結果を公開した。数独では、最初のマスの数字も最後のマスの条件に縛られるため、左から右へ順に生成する自己回帰のモデルは解きにくいという。

Google が示した結果では、同社が公開した手順で数独のデータを使って教師ありファインチューニングをすると DiffusionGemma が数独を解ける割合が調整の前より上がり、生成にかかる段階の数も減った。

ELYZA は日本語のデータで追加の学習をした

ELYZA は、HKU NLP Group が公開した Dream-v0-Instruct-7B をもとに、日本語のデータで追加の事前学習と指示の学習を行った。開発には KDDI のGPUの基盤を使った。

ELYZA が Zenn の技術ブログで示した評価では、指示の学習を行ったモデルが、日本語の指示への応答や対話の力を測る ELYZA-Tasks-100 と Japanese-MT-Bench で Tencent の拡散言語モデル WeDLM の系列を上回った。同じ評価で、プログラミングや数学といった課題の一部では WeDLM の系列のほうが上回る場合もあった。

拡散言語モデルの英語での言い方

英語表記 意味 使用主体
diffusion language model 拡散の手法で文章を生成する言語モデル Inception
diffusion large language model(dLLM) 拡散の手法で文章を生成する大規模言語モデル Inception、ELYZA
text diffusion model 文章を生成する拡散モデル Google
diffusion LM 拡散の手法で文章を生成する言語モデル NVIDIA などの研究者ら

拡散言語モデルの品質の課題と速さが出る条件

品質と学習の費用に課題がある

Google は、DiffusionGemma が速さと並行の生成を優先しているため、出力の全体の品質は通常の Gemma 4 より低いとしている。同社は、最高の品質が求められる用途には通常の Gemma 4 を使うよう勧めている。

ELYZA も2026年1月の発表で、拡散言語モデルには学習の費用の高さや性能の課題があり、推論の基盤などの周りの技術も成熟の途中だとした。同社は、その時点での実際の利用は限られている一方、基礎研究は着実に進んでおり、将来に実用化が進む可能性がある技術だとした。

Mac では拡散のモデルの速さの利点が小さい場合がある

Apple silicon を積んだ Mac のように統合メモリーを使う機器では、Gemma 4 のような自己回帰のモデルに比べた速さの向上が同じようには得られない場合があると、Google は述べている。こうした機器は、計算の速さに比べてメモリーの帯域が広いという。

拡散言語モデルに関連する用語

  • 大規模言語モデル(LLM):大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデル。
  • 推論モデル:途中の考えの過程を最終の答えの前に作り、それを踏まえて答えるAIモデル。
  • テスト時計算:学習を終えたAIモデルが質問や課題に答える段階で使う計算。
  • MoE(Mixture of Experts):モデルの中の複数のエキスパートのうち、トークンごとに一部だけを選んで計算に使うモデルの作り。
  • スケーリング則:モデルの大きさやデータの量、計算量を増やしたときの性能の伸びを、予測できる形で表した経験則。

拡散言語モデルに関する出典

株式会社ELYZA「ELYZA、高速な文章生成を可能にする日本語拡散言語モデル「ELYZA-LLM-Diffusion」を開発、商用利用可能な形式で公開」(2026年1月16日、PR TIMES)
Inception「Introducing Mercury, the World’s First Commercial-Scale Diffusion Large Language Model.」(2025年2月26日)
Google「DiffusionGemma: 4x faster text generation」(2026年6月10日)
Google「DiffusionGemma: The Developer Guide」(2026年6月10日)
Google「Gemini Diffusion: Google DeepMind’s experimental research model」(2025年5月20日)
Inception「Introducing Mercury 2」(2026年2月24日)
Inception「Diffusion at Scale: Introducing Mercury 3」(2026年10月19日)
Yonggan Fu ほか「Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding」(2026年5月19日、NVIDIA Research)
Jacob Austin ほか「Structured Denoising Diffusion Models in Discrete State-Spaces」(2021年7月7日、arXiv)
Xiang Lisa Li ほか「Diffusion-LM Improves Controllable Text Generation」(2022年5月27日、arXiv)
Shen Nie ほか「Large Language Diffusion Models」(2025年2月14日、arXiv)
株式会社ELYZA「高速な文章生成を可能にする日本語拡散言語モデル「ELYZA-LLM-Diffusion」を開発、商用利用可能な形式で公開しました」(2026年1月16日)
Google DeepMind「Gemini Diffusion」
Inception「Our Models」
株式会社ELYZA「日本語特化拡散言語モデル「ELYZA-LLM-Diffusion」の公開」(2026年1月16日、3月4日更新、Zenn)