MoE(Mixture of Experts)とは・意味、仕組み・主なモデル・経緯

MoE(Mixture of Experts)とは?
MoE(Mixture of Experts)とは、AIモデルの中に複数の「エキスパート」を用意し、トークンごとにその一部だけを選んで計算に使うモデルの作りのこと。トークンは、AIが文章を処理するときの文字のまとまりを指す。
英語では「mixture-of-experts」とハイフンでつなぐ表記もある。
Google は Gemini 3 Pro のモデルカードで「sparse mixture-of-experts」と表記し、入力のトークンごとにパラメータの一部だけを働かせる作りと説明している。国内でも、Sakana AI が日本語のブログで「Mixture-of-Experts(MoE)」の語を使っている。
従来の深層学習のモデルは、どの入力にも同じパラメータを使うのが一般的だった。MoE は、入力ごとに違うパラメータを選ぶ点で従来のモデルと異なる。すべてのパラメータを使うモデルは、MoE と対比して「密なモデル(dense model)」と呼ばれる。
Google は、MoE ならモデル全体の容量の大きさをトークンごとの計算や提供の費用とは別に決められると説明している。
2026年の時点では、最先端のモデルにも MoE が使われている。Google は2026年10月に公開した Gemini 4 Argon のモデルカードで、このモデルを大規模な sparse MoE と記した。
NVIDIA は2025年12月のブログで、AIモデルの性能を比べる第三者の順位表 Artificial Analysis の知能の評価で上位10位に入ったオープンソースのモデルが、すべて MoE を使っているとした。
MoE の仕組み
ルーターがトークンごとにエキスパートを選ぶ
Noam Shazeer 氏らは2017年の論文で、小さなネットワークのエキスパートを最大で数千並べた層を示した。この層では、学習で調整するゲートのネットワークが、入力ごとに使うエキスパートの組み合わせを決める。NVIDIA や DeepSeek-AI は、エキスパートへの振り分けを受け持つ部分を「ルーター」と呼んでいる。
Meta の Llama 4 Maverick では、密な層と MoE の層を交互に重ねている。MoE の層には、ルーターが振り分ける128のエキスパートと、共有のエキスパートが1つある。各トークンは、共有のエキスパートと、128のうちの1つのエキスパートに送られる。
総パラメータとアクティブパラメータの2つの数
MoE のモデルを発表するとき、多くの会社はモデル全体のパラメータの数(総パラメータ)と、1トークンの処理で使うパラメータの数(アクティブパラメータ)を分けて示している。たとえば OpenAI の gpt-oss-20b は、総パラメータが210億で、1トークンで使うのは36億だ。
Qwen チームは、モデルの名前 Qwen3-235B-A22B に、総パラメータとアクティブパラメータの2つの数を含めている。Qwen3-235B-A22B は、総パラメータが2,350億、アクティブパラメータが220億のモデルで、128のエキスパートのうち8つを使う。
国立情報学研究所の大規模言語モデル研究開発センター(LLMC)の「8x13B」は、総パラメータが730億、アクティブパラメータが220億だ。この総パラメータは、名前の数字を掛け合わせた1,040億より少ない。
エキスパートへの振り分けの偏りを抑える工夫
DeepSeek-AI は DeepSeek-V3 の技術報告で、エキスパートの負荷が偏ると振り分けが崩れ、エキスパートを複数のGPUに分ける場面では計算の効率も下がると説明した。従来は多くの場合、補助の損失(auxiliary loss)という学習の項を加えて、エキスパートの負荷の偏りを防いできた。
同社によると、補助の損失が大きすぎるとモデルの性能が損なわれる。そこで同社は DeepSeek-V3 で、補助の損失を使わずにエキスパートの負荷を分散する方法を主に使った。同社は、1つの系列の中で負荷が極端に偏るのを防ぐため、系列ごとの補助の損失も補う形で加えている。
MoE を使う主なモデル
表のモデルのうち開発元が総パラメータとアクティブパラメータを公表しているものは、どれもアクティブパラメータが総パラメータの1割未満だ。本文で挙げた gpt-oss-20b のように、1割を超えるモデルもある。
| モデル | 開発元 | 総パラメータ | アクティブパラメータ | エキスパートの数 |
|---|---|---|---|---|
| gpt-oss-120b | OpenAI | 1,170億 | 51億 | 128(1トークンで4つを使う) |
| Gemini 4 Argon | 記載なし | 記載なし | 記載なし | |
| Muse Spark Open | Meta | 8,160億 | 420億 | 256(1トークンで8つを使う) |
| Llama 4 Maverick | Meta | 4,000億 | 170億 | 128と共有の1つ |
| DeepSeek-V4-Pro | DeepSeek-AI | 1.6兆 | 490億 | 384と共有の1つ(1トークンで6つを選ぶ) |
| Kimi K2 | Moonshot AI | 1兆 | 320億 | 384と共有の1つ(1トークンで8つを選ぶ) |
| Mistral Large 4 | Mistral AI | 1.05兆 | 520億 | 128と共有の1つ(1トークンで4つを選ぶ) |
※2026年11月時点。
MoE が広まった経緯
入力ごとにネットワークの一部だけを働かせる考え方は、今の生成AIが広まる前からあった。Shazeer 氏らも2017年の論文で、この「conditional computation」(条件つきの計算)の考え方は理論として提案されてきたと記している。
William Fedus 氏らは2021年の論文で、MoE には目立った成功例がいくつかあったものの、仕組みの複雑さや通信の費用、学習の不安定さが MoE の普及を妨げてきたと記した。同氏らは、振り分けの方法を簡単にした Switch Transformer を示した。
Mistral AI は2023年12月に、MoE を使うオープンウェイトのモデル Mixtral 8x7B を公開した。Mixtral 8x7B は、各層でルーターが8つのエキスパートから2つを選ぶ作りで、ライセンスは Apache 2.0 だった。
Meta は2025年4月に発表した Llama 4 を、同社で初めて MoE を使ったモデルと説明した。同社は、MoE は学習と推論の計算の効率が高く、学習の計算量が同じなら密なモデルより品質が高くなるとしている。
OpenAI も2025年8月に公開した gpt-oss の2つのモデルで MoE を使った。
NVIDIA は2025年12月のブログで、MoE がその年に公開されたオープンソースのモデルの60%超に採用されたとした。同社は、2025年の初めからは主要な最先端のモデルのほぼすべてが MoE を使っているとも書いている。
MoE に関する主な出来事・ニュース
- 2017年1月23日 Noam Shazeer 氏ら「Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer」を公開:Shazeer 氏らは、最大で数千の小さなネットワークからなる MoE の層を示した論文を arXiv で公開した。
- 2021年1月11日 William Fedus 氏ら「Switch Transformers」を公開:Fedus 氏らは、MoE の振り分けの方法を簡単にした Switch Transformer の論文を arXiv で公開した。
- 2023年12月11日 Mistral AI「Mixtral 8x7B」を公開:Mistral AI は、オープンウェイトの sparse MoE のモデル Mixtral 8x7B を Apache 2.0 のライセンスで公開した。
- 2024年12月27日 DeepSeek-AI「DeepSeek-V3 Technical Report」を公開:DeepSeek-AI は、総パラメータ6,710億で、1トークンごとに370億を使う MoE のモデルの技術報告を arXiv で公開した。
- 2025年3月27日 国立情報学研究所 LLMC「LLM-jp-3 MoE」シリーズを公開:LLMC は、同センターで初めての MoE のモデルとして、8×1.8B と 8x13B の2つを公開した。
- 2025年4月5日 Meta「Llama 4」を発表:Meta は、同社で初めて MoE を使ったモデルとして、Llama 4 Scout と Llama 4 Maverick を発表した。
- 2025年4月29日 Qwen チーム「Qwen3」を公開:Qwen チームは、Qwen3 のうち MoE の2つのモデルの重みを公開した。
- 2025年8月5日 OpenAI「gpt-oss」を公開:OpenAI は、MoE を使うオープンウェイトのモデル gpt-oss-120b と gpt-oss-20b を公開した。
- 2026年4月24日 DeepSeek「DeepSeek-V4 Preview」を公開:DeepSeek は、DeepSeek-V4-Pro と DeepSeek-V4-Flash のプレビュー版を公開し、重みも公開した。
- 2026年10月6日 Mistral AI「Mistral Large 4」を公開:Mistral AI は、粒度の細かい Mixture-of-Experts を採用したオープンウェイトのモデル Mistral Large 4 を公開した。
- 2026年10月13日 Google DeepMind「Gemini 4 Argon」のモデルカードを公開:Google DeepMind は、Gemini 4 Argon を大規模な sparse MoE と説明するモデルカードを公開した。
- 2026年10月15日 Meta「Muse Spark Open」の重みを公開:Meta は、Muse Spark Open の重みを公開した。
MoE に関する事例・研究
DeepSeek-AI による DeepSeek-V3 の学習の費用の試算
DeepSeek-AI は技術報告で、DeepSeek-V3 の学習に H800 の GPU を延べ278.8万時間使ったと記した。同社は、H800 を借りる価格を1時間2ドルと仮定すると、学習の費用は557.6万ドルになると試算した。
557.6万ドルという試算は、DeepSeek-V3 の正式な学習の分だけのもので、それ以前の研究や構成・方法・データを比べる実験の費用は含まないという。
Kimi K3 は896のエキスパートから16を選ぶ
Moonshot AI は Kimi K3 のモデルカードで、総パラメータ2.8兆のこのモデルが、896のエキスパートのうち16をアクティブにすると説明した。Stable LatentMoE という枠組みを使った Kimi K3 の新しい作りで、全体のスケーリングの効率は Kimi K2 のおよそ2.5倍になったという。
AIが振り分けの偏りを抑える損失関数を考えた
ShinkaEvolve は、科学的な発見に役立てるためにプログラムを進化させるフレームワークで、Sakana AI が2025年にオープンソースで発表した。同社は2026年6月のブログで、ShinkaEvolve が MoE のエキスパートへの負荷の偏りを減らす損失関数を新たに自ら考え出したと説明している。
MoE の言い方
| 表記 | 意味 | 使用主体 |
|---|---|---|
| Mixture of Experts(MoE) | 入力ごとに一部のエキスパートを選んで使うモデルの作り | 国立情報学研究所 LLMC、Meta |
| mixture-of-experts | 同じ語をハイフンでつないだ表記 | OpenAI、NVIDIA |
| active parameters/activated parameters | 1トークンの処理で使うパラメータ | OpenAI、Qwen チーム、Moonshot AI |
| routed expert/shared expert | ルーターが振り分けるエキスパート/共有のエキスパート | Meta、Mistral AI、DeepSeek-AI |
| sparse mixture-of-experts(sparse MoE) | トークンごとにパラメータの一部だけを使う MoE | Google、Meta |
| SMoE | sparse mixture of experts の略 | Mistral AI |
| granular Mixture-of-Experts | 粒度の細かい MoE | Mistral AI |
| Sparsely-Gated Mixture-of-Experts layer | ゲートのネットワークがエキスパートの組み合わせを決める層 | Noam Shazeer 氏ら |
MoE のモデルを動かすときのメモリーと通信の課題
計算に使うのは一部でも、メモリーには全パラメータを置く
Meta は、Llama 4 Maverick ではすべてのパラメータをメモリーに置いたうえで、一部だけを働かせると説明している。同社は、一部のパラメータだけを働かせることで、モデルの提供の費用と応答の遅れを抑えられるとしている。
Muse Spark Open の重みは、16ビットの数値の形式 BF16 で約1.6TB ある。エキスパートだけを量子化(数値の桁を減らして小さくすること)した NVFP4 の形式の重みは約530GBで、Blackwell Ultra の GPU 4基か H200 の GPU 8基で動かせる。
OpenAI は、gpt-oss-120b を MXFP4 という形式で量子化して公開した。この形式で、gpt-oss-120b は80GBのメモリーで動かせる。
エキスパートを複数のGPUに分けると通信が増える
NVIDIA は2025年12月のブログで、最先端の MoE のモデルは1基の GPU には収まらず、エキスパートを複数の GPU に分ける必要があると説明した。この方法はエキスパート並列(expert parallelism)と呼ばれる。
同社は課題として、トークンごとに選ばれたエキスパートのパラメータを広帯域メモリー(HBM)から読み込む負荷と、エキスパートの間の通信の遅れを挙げている。H200 でエキスパートを8基を超える GPU に分けると、エキスパートの間の通信は遅れのより大きいスケールアウトのネットワークを通ることになるという。
NVIDIA は、72基の GPU をつないだ自社の GB200 NVL72 なら、エキスパートを最大72基に分けられるとしている。同社は、GB200 NVL72 で HGX H200 より MoE のモデルの性能が10倍になった例として、Kimi K2 Thinking や DeepSeek-R1、Mistral Large 3 を挙げた。
NVIDIA によると、GB200 NVL72 で MoE のモデルを動かすと、電力あたりの性能(performance per watt)も10倍に高まる。電力あたりの効率の指標には、Tokens per Wattもある。
MoE に関連する用語
- オープンウェイト:学習を終えたAIモデルの重みが公開され、手に入る状態のこと。
- Tokens per Watt(ワットあたりのトークン数):AIを動かす計算の基盤が、電力1ワットに対してどれだけのトークンを生み出せるかを表す効率の指標。
MoE に関する出典
Google DeepMind「Gemini 3 Pro Model Card」(2025年11月、2026年5月更新)
NVIDIA「Mixture of Experts Powers the Most Intelligent Frontier AI Models, Runs 10x Faster to Deliver 1/10 the Token Cost on NVIDIA Blackwell NVL72」(2025年12月3日)
OpenAI「Introducing gpt-oss」(2025年8月5日)
Sakana AI「AIがAIを作る:Sakana AI「RSI Lab」始動」(2026年6月5日)
William Fedus ほか「Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity」(2021年1月11日、2022年6月16日改訂、arXiv)
国立情報学研究所 大規模言語モデル研究開発センター「Release of LLM-jp-3 MoE Series」(2025年3月27日)
Meta「The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation」(2025年4月5日)
Google DeepMind「Gemini 4 Argon – Model Card」(2026年10月13日)
Noam Shazeer ほか「Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer」(2017年1月23日、arXiv)
DeepSeek-AI「DeepSeek-V3 Technical Report」(2024年12月27日、2025年2月18日改訂、arXiv)
Qwen Team「Qwen3: Think Deeper, Act Faster」(2025年4月29日)
Mistral AI「mistralai/Mistral-Large-4-1T-A52B」(Hugging Face)
Meta「Introducing Muse Spark Open, The Most Capable US Open-Weight Model to Date」(2026年10月15日)
Meta「Build with Muse Spark Open」(2026年10月15日)
DeepSeek-AI「deepseek-ai/DeepSeek-V4-Pro」(Hugging Face)
Moonshot AI「MoonshotAI/Kimi-K2」(GitHub)
Mistral AI「Mistral Large 4」(2026年10月6日)
Moonshot AI「moonshotai/Kimi-K3」(Hugging Face)
Mistral AI「Mixtral of experts」(2023年12月11日)
DeepSeek「DeepSeek V4 Preview Release」(2026年4月24日)
DeepSeek-AI「config.json」(deepseek-ai/DeepSeek-V4-Pro、Hugging Face)
Meta「meta-models/Muse-Spark-Open-816B-A42B」(Hugging Face、2026年10月15日)




