本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

MoE(Mixture of Experts)とは・意味、仕組み・主なモデル・経緯

MoE(Mixture of Experts)とは?

MoE(Mixture of Experts)とは、AIモデルの中に複数の「エキスパート」を用意し、トークンごとにその一部だけを選んで計算に使うモデルの作りのこと。トークンは、AIが文章を処理するときの文字のまとまりを指す。

英語では「mixture-of-experts」とハイフンでつなぐ表記もある。

Google は Gemini 3 Pro のモデルカードで「sparse mixture-of-experts」と表記し、入力のトークンごとにパラメータの一部だけを働かせる作りと説明している。国内でも、Sakana AI が日本語のブログで「Mixture-of-Experts(MoE)」の語を使っている。

従来の深層学習のモデルは、どの入力にも同じパラメータを使うのが一般的だった。MoE は、入力ごとに違うパラメータを選ぶ点で従来のモデルと異なる。すべてのパラメータを使うモデルは、MoE と対比して「密なモデル(dense model)」と呼ばれる。

Google は、MoE ならモデル全体の容量の大きさをトークンごとの計算や提供の費用とは別に決められると説明している。

2026年の時点では、最先端のモデルにも MoE が使われている。Google は2026年10月に公開した Gemini 4 Argon のモデルカードで、このモデルを大規模な sparse MoE と記した。

NVIDIA は2025年12月のブログで、AIモデルの性能を比べる第三者の順位表 Artificial Analysis の知能の評価で上位10位に入ったオープンソースのモデルが、すべて MoE を使っているとした。

MoE の仕組み

ルーターがトークンごとにエキスパートを選ぶ

Noam Shazeer 氏らは2017年の論文で、小さなネットワークのエキスパートを最大で数千並べた層を示した。この層では、学習で調整するゲートのネットワークが、入力ごとに使うエキスパートの組み合わせを決める。NVIDIA や DeepSeek-AI は、エキスパートへの振り分けを受け持つ部分を「ルーター」と呼んでいる。

Meta の Llama 4 Maverick では、密な層と MoE の層を交互に重ねている。MoE の層には、ルーターが振り分ける128のエキスパートと、共有のエキスパートが1つある。各トークンは、共有のエキスパートと、128のうちの1つのエキスパートに送られる。

総パラメータとアクティブパラメータの2つの数

MoE のモデルを発表するとき、多くの会社はモデル全体のパラメータの数(総パラメータ)と、1トークンの処理で使うパラメータの数(アクティブパラメータ)を分けて示している。たとえば OpenAI の gpt-oss-20b は、総パラメータが210億で、1トークンで使うのは36億だ。

Qwen チームは、モデルの名前 Qwen3-235B-A22B に、総パラメータとアクティブパラメータの2つの数を含めている。Qwen3-235B-A22B は、総パラメータが2,350億、アクティブパラメータが220億のモデルで、128のエキスパートのうち8つを使う。

国立情報学研究所の大規模言語モデル研究開発センター(LLMC)の「8x13B」は、総パラメータが730億、アクティブパラメータが220億だ。この総パラメータは、名前の数字を掛け合わせた1,040億より少ない。

エキスパートへの振り分けの偏りを抑える工夫

DeepSeek-AI は DeepSeek-V3 の技術報告で、エキスパートの負荷が偏ると振り分けが崩れ、エキスパートを複数のGPUに分ける場面では計算の効率も下がると説明した。従来は多くの場合、補助の損失(auxiliary loss)という学習の項を加えて、エキスパートの負荷の偏りを防いできた。

同社によると、補助の損失が大きすぎるとモデルの性能が損なわれる。そこで同社は DeepSeek-V3 で、補助の損失を使わずにエキスパートの負荷を分散する方法を主に使った。同社は、1つの系列の中で負荷が極端に偏るのを防ぐため、系列ごとの補助の損失も補う形で加えている。

MoE を使う主なモデル

表のモデルのうち開発元が総パラメータとアクティブパラメータを公表しているものは、どれもアクティブパラメータが総パラメータの1割未満だ。本文で挙げた gpt-oss-20b のように、1割を超えるモデルもある。

モデル 開発元 総パラメータ アクティブパラメータ エキスパートの数
gpt-oss-120b OpenAI 1,170億 51億 128(1トークンで4つを使う)
Gemini 4 Argon Google 記載なし 記載なし 記載なし
Muse Spark Open Meta 8,160億 420億 256(1トークンで8つを使う)
Llama 4 Maverick Meta 4,000億 170億 128と共有の1つ
DeepSeek-V4-Pro DeepSeek-AI 1.6兆 490億 384と共有の1つ(1トークンで6つを選ぶ)
Kimi K2 Moonshot AI 1兆 320億 384と共有の1つ(1トークンで8つを選ぶ)
Mistral Large 4 Mistral AI 1.05兆 520億 128と共有の1つ(1トークンで4つを選ぶ)

※2026年11月時点。

MoE が広まった経緯

入力ごとにネットワークの一部だけを働かせる考え方は、今の生成AIが広まる前からあった。Shazeer 氏らも2017年の論文で、この「conditional computation」(条件つきの計算)の考え方は理論として提案されてきたと記している。

William Fedus 氏らは2021年の論文で、MoE には目立った成功例がいくつかあったものの、仕組みの複雑さや通信の費用、学習の不安定さが MoE の普及を妨げてきたと記した。同氏らは、振り分けの方法を簡単にした Switch Transformer を示した。

Mistral AI は2023年12月に、MoE を使うオープンウェイトのモデル Mixtral 8x7B を公開した。Mixtral 8x7B は、各層でルーターが8つのエキスパートから2つを選ぶ作りで、ライセンスは Apache 2.0 だった。

Meta は2025年4月に発表した Llama 4 を、同社で初めて MoE を使ったモデルと説明した。同社は、MoE は学習と推論の計算の効率が高く、学習の計算量が同じなら密なモデルより品質が高くなるとしている。

OpenAI も2025年8月に公開した gpt-oss の2つのモデルで MoE を使った。

NVIDIA は2025年12月のブログで、MoE がその年に公開されたオープンソースのモデルの60%超に採用されたとした。同社は、2025年の初めからは主要な最先端のモデルのほぼすべてが MoE を使っているとも書いている。

MoE に関する主な出来事・ニュース

MoE に関する事例・研究

DeepSeek-AI による DeepSeek-V3 の学習の費用の試算

DeepSeek-AI は技術報告で、DeepSeek-V3 の学習に H800 の GPU を延べ278.8万時間使ったと記した。同社は、H800 を借りる価格を1時間2ドルと仮定すると、学習の費用は557.6万ドルになると試算した。

557.6万ドルという試算は、DeepSeek-V3 の正式な学習の分だけのもので、それ以前の研究や構成・方法・データを比べる実験の費用は含まないという。

Kimi K3 は896のエキスパートから16を選ぶ

Moonshot AI は Kimi K3 のモデルカードで、総パラメータ2.8兆のこのモデルが、896のエキスパートのうち16をアクティブにすると説明した。Stable LatentMoE という枠組みを使った Kimi K3 の新しい作りで、全体のスケーリングの効率は Kimi K2 のおよそ2.5倍になったという。

AIが振り分けの偏りを抑える損失関数を考えた

ShinkaEvolve は、科学的な発見に役立てるためにプログラムを進化させるフレームワークで、Sakana AI が2025年にオープンソースで発表した。同社は2026年6月のブログで、ShinkaEvolve が MoE のエキスパートへの負荷の偏りを減らす損失関数を新たに自ら考え出したと説明している。

MoE の言い方

表記 意味 使用主体
Mixture of Experts(MoE) 入力ごとに一部のエキスパートを選んで使うモデルの作り 国立情報学研究所 LLMC、Meta
mixture-of-experts 同じ語をハイフンでつないだ表記 OpenAI、NVIDIA
active parameters/activated parameters 1トークンの処理で使うパラメータ OpenAI、Qwen チーム、Moonshot AI
routed expert/shared expert ルーターが振り分けるエキスパート/共有のエキスパート Meta、Mistral AI、DeepSeek-AI
sparse mixture-of-experts(sparse MoE) トークンごとにパラメータの一部だけを使う MoE Google、Meta
SMoE sparse mixture of experts の略 Mistral AI
granular Mixture-of-Experts 粒度の細かい MoE Mistral AI
Sparsely-Gated Mixture-of-Experts layer ゲートのネットワークがエキスパートの組み合わせを決める層 Noam Shazeer 氏ら

MoE のモデルを動かすときのメモリーと通信の課題

計算に使うのは一部でも、メモリーには全パラメータを置く

Meta は、Llama 4 Maverick ではすべてのパラメータをメモリーに置いたうえで、一部だけを働かせると説明している。同社は、一部のパラメータだけを働かせることで、モデルの提供の費用と応答の遅れを抑えられるとしている。

Muse Spark Open の重みは、16ビットの数値の形式 BF16 で約1.6TB ある。エキスパートだけを量子化(数値の桁を減らして小さくすること)した NVFP4 の形式の重みは約530GBで、Blackwell Ultra の GPU 4基か H200 の GPU 8基で動かせる。

OpenAI は、gpt-oss-120b を MXFP4 という形式で量子化して公開した。この形式で、gpt-oss-120b は80GBのメモリーで動かせる。

エキスパートを複数のGPUに分けると通信が増える

NVIDIA は2025年12月のブログで、最先端の MoE のモデルは1基の GPU には収まらず、エキスパートを複数の GPU に分ける必要があると説明した。この方法はエキスパート並列(expert parallelism)と呼ばれる。

同社は課題として、トークンごとに選ばれたエキスパートのパラメータを広帯域メモリー(HBM)から読み込む負荷と、エキスパートの間の通信の遅れを挙げている。H200 でエキスパートを8基を超える GPU に分けると、エキスパートの間の通信は遅れのより大きいスケールアウトのネットワークを通ることになるという。

NVIDIA は、72基の GPU をつないだ自社の GB200 NVL72 なら、エキスパートを最大72基に分けられるとしている。同社は、GB200 NVL72 で HGX H200 より MoE のモデルの性能が10倍になった例として、Kimi K2 Thinking や DeepSeek-R1、Mistral Large 3 を挙げた。

NVIDIA によると、GB200 NVL72 で MoE のモデルを動かすと、電力あたりの性能(performance per watt)も10倍に高まる。電力あたりの効率の指標には、Tokens per Wattもある。

MoE に関連する用語

MoE に関する出典

Google DeepMind「Gemini 3 Pro Model Card」(2025年11月、2026年5月更新)
NVIDIA「Mixture of Experts Powers the Most Intelligent Frontier AI Models, Runs 10x Faster to Deliver 1/10 the Token Cost on NVIDIA Blackwell NVL72」(2025年12月3日)
OpenAI「Introducing gpt-oss」(2025年8月5日)
Sakana AI「AIがAIを作る:Sakana AI「RSI Lab」始動」(2026年6月5日)
William Fedus ほか「Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity」(2021年1月11日、2022年6月16日改訂、arXiv)
国立情報学研究所 大規模言語モデル研究開発センター「Release of LLM-jp-3 MoE Series」(2025年3月27日)
Meta「The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation」(2025年4月5日)
Google DeepMind「Gemini 4 Argon – Model Card」(2026年10月13日)
Noam Shazeer ほか「Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer」(2017年1月23日、arXiv)
DeepSeek-AI「DeepSeek-V3 Technical Report」(2024年12月27日、2025年2月18日改訂、arXiv)
Qwen Team「Qwen3: Think Deeper, Act Faster」(2025年4月29日)
Mistral AI「mistralai/Mistral-Large-4-1T-A52B」(Hugging Face)
Meta「Introducing Muse Spark Open, The Most Capable US Open-Weight Model to Date」(2026年10月15日)
Meta「Build with Muse Spark Open」(2026年10月15日)
DeepSeek-AI「deepseek-ai/DeepSeek-V4-Pro」(Hugging Face)
Moonshot AI「MoonshotAI/Kimi-K2」(GitHub)
Mistral AI「Mistral Large 4」(2026年10月6日)
Moonshot AI「moonshotai/Kimi-K3」(Hugging Face)
Mistral AI「Mixtral of experts」(2023年12月11日)
DeepSeek「DeepSeek V4 Preview Release」(2026年4月24日)
DeepSeek-AI「config.json」(deepseek-ai/DeepSeek-V4-Pro、Hugging Face)
Meta「meta-models/Muse-Spark-Open-816B-A42B」(Hugging Face、2026年10月15日)