マルチモーダル(Multimodal)とは・意味、仕組み・主なモデル・由来

マルチモーダルとは?
マルチモーダル(Multimodal)とは、文章や画像、音声、動画といった種類の違うデータを、AIのモデルやシステムが入力として受け取ったり出力として生成したりできる性質のこと。データの種類を表す英語の modality(モダリティ)の形容詞 modal に、「複数の」を意味する multi を付けた語だ。
チューリング賞の受賞者 Yoshua Bengio 氏が率いる専門家は、国際的な報告書 International AI Safety Report の2026年版の用語集でモダリティを説明している。その説明では、モダリティはAIのモデルやシステムが入力として受け取るデータや出力として生み出すデータの種類を指す。例には、文章(言語やコード)や画像、動画、ロボットの動作などがある。
マルチモダリティ(multimodality)は、同じ用語集で、文章や画像、動画、音声など種類の違うデータをAIのモデルやシステムが処理できる能力と定義されている。ロボットを動かすVLAも、報告書ではマルチモーダルの基盤モデルの一種と位置づけられている。基盤モデルは、幅広い用途に合わせられるように設計した汎用のAIモデルを指す。
日本の政府の資料も「マルチモーダル」と表記する。総務省と経済産業省は、AI事業者ガイドラインの第1.2版で「マルチモーダルな生成AI」を中心とするAIのシステムやサービスの生成物について注意を促している。精巧なものを比較的たやすく作れるため、誤解や偏見を助長したり、他者の知的財産権を侵害したりするおそれがあるとし、利用するときに人間の判断を挟むなどの対策を求めている。
政府の関係府省の連絡会議は、AIロボティクス戦略で、画像や音声、動画、各種のセンサーの情報を合わせて現実の世界を理解する方向への進化をマルチモーダル化と呼んでいる。
マルチモーダルの仕組み
別々のモデルをつなぐ方式から1つのモデルへ
OpenAI によると、2024年5月に GPT-4o を発表する前の ChatGPT の音声での会話は、3つのモデルを順につないで動いていた。音声を文字に変えるモデル、文字を受け取って文字で答える GPT-3.5 か GPT-4、答えの文字を音声に変えるモデルの3つだ。
同社の説明では、この方式だと答えを作る GPT-4 は声の調子や複数の話し手の声、周りの雑音を直接受け取れず、笑い声や歌、感情の表現を出力することもできなかった。GPT-4o では、文章・画像・音声の入力と出力を同じ1つのニューラルネットワークで処理するモデルを学習させた。
Google も2023年12月に Gemini を発表したとき、それまでのマルチモーダルのモデルの一般的な作り方は、モダリティごとに別々の部品を学習させてからつなぎ合わせるものだったと説明した。同社は Gemini を、最初から種類の違うデータで事前学習させたモデルとして設計し、これを natively multimodal と呼んでいる。
Google DeepMind は、2026年10月に公開した Gemini 4 Argon のモデルカード(モデルの仕様や評価をまとめた文書)で、このモデルが文章・視覚・音声の入力にネイティブに対応すると説明している。
利用者と声で会話する音声エージェントも、音声をいったん文字に変える方式や、1つのモデルで声を聞き取って答える方式がある。
文章と画像のトークンをまとめて学習する
Meta は2025年4月に発表した Llama 4 で、文章と画像のトークンを1つのモデルの本体にまとめて入れる「early fusion(早期融合)」を取り入れた。トークンは、AIがデータを処理するときの小さなまとまりを指す。この方式で、ラベルの付いていない大量の文章・画像・動画のデータを使ってモデルを一緒に事前学習させることができると、同社は説明している。
画像や音声もトークンの数で量る
Google の Gemini API では、文章だけでなく、画像・動画・音声の入力もすべてトークンに変えて数える。縦と横がどちらも384ピクセル以下の画像は258トークンと数え、それより大きい画像は768×768ピクセルのタイルに分けて、タイル1枚を258トークンと数える。
動画は1秒あたり263トークンで、Google はこの値を静的な処理の場合としている。エージェントとして処理する場合は、使うトークンの量が変わるという。音声は1秒あたり32トークンだ。
課金を有効にした Gemini API の料金は、入力と出力のトークンの数で一部が決まると Google は説明している。長い動画や音声を入力すると、そのぶん多くのトークンを使う。
出力できるデータの種類はモデルごとに違う
画像などを入力に受け取れるモデルでも、出力は文章だけのことがある。OpenAI は、自社の最新のモデルはすべて文章と画像の入力と文章の出力に対応すると説明している。画像の生成と編集には GPT-Image のモデルを、声での会話には GPT-Live や GPT-Realtime のモデルを、別に用意している。
Google の Gemini 4 Argon も、出力は文章だ。Google は、画像の生成と編集のモデル Nano Banana や、音声つきの動画を生成・編集するモデル Gemini Omni Flash を別に出している。
マルチモーダルに対応する主なモデル
生成AIの大手のモデルと、重みを公開している主なモデルについて、受け取れるデータと生成できるデータの種類を挙げる。
| 提供元 | モデル | 入力の種類 | 出力の種類 |
|---|---|---|---|
| OpenAI | GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra、GPT-6 Luna | 文章、画像 | 文章 |
| Gemini 4 Argon | 文章、画像、動画、音声、PDF | 文章 | |
| Gemini Omni Flash(動画の生成・編集のモデル) | 文章、画像、動画 | 音声つきの動画、文章 | |
| Anthropic | Claude Fable 5.2、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5 | 文章、画像 | 文章 |
| Meta | Muse Spark Open(重みを公開) | 文章、画像、動画、音声 | 文章 |
※2026年11月時点
Anthropic は、現行の Claude のモデルはすべて文章と画像の入力と文章の出力に対応すると説明している。Meta は、Muse Spark Open をネイティブにマルチモーダルなモデルと説明し、スクリーンショットやグラフ、文書、画像、音声や動画の記録を読み取れるとしている。
マルチモーダルの由来と広まった経緯
機械学習の研究では、生成AIが広まる前からマルチモーダルの語が使われていた。スタンフォード大学の Jiquan Ngiam 氏らは、2011年の機械学習の国際会議 ICML で論文「Multimodal Deep Learning」を発表した。提案したのは、文章や画像、音声のような1つのモダリティで使われていた深層学習のネットワークを、複数のモダリティにまたがる特徴の学習に使う方法だ。
Tadas Baltrušaitis 氏らは2019年2月、マルチモーダルの機械学習の研究を整理した論文を IEEE の学術誌で発表した。著者らは、モダリティを、物事が起きたり経験されたりするときの様式と説明している。研究の課題が複数のモダリティを含むとき、その課題をマルチモーダルと呼ぶという。
生成AIのモデルでは、OpenAI が2023年3月に技術報告を公開し、GPT-4 を画像と文章の入力を受け取って文章を出力する大規模なマルチモーダルのモデルと説明した。Google は2023年12月に、最初からマルチモーダルとして作ったとする Gemini を発表した。
OpenAI が2024年5月に発表した GPT-4o の「o」は、omni(すべての)の略だ。同社は GPT-4o を、文章・音声・画像・動画を組み合わせて受け取り、文章・音声・画像を組み合わせて出力できるモデルと説明した。
これまでのAIの進歩の多くは、主にインターネットの文章を使い、より大きなデータでモデルを学習させることで得られてきたと、International AI Safety Report は述べる。質の高い文章のデータには限りがあり、文章のデータが足りなくなれば、開発者は画像や動画などほかの種類のデータを代わりに使える可能性があるという。
ただし、動画の1コマには文章の1段落より少ない意味の情報しか含まれないと、報告書は指摘する。動画から学習に役立つ情報を取り出すには、新しい技術が必要だという。
マルチモーダルに関する主な出来事・ニュース
- 2023年3月15日 OpenAI ほか「GPT-4 Technical Report」を公開:OpenAI は、画像と文章の入力を受け取って文章を出力する大規模なマルチモーダルのモデル GPT-4 の技術報告を arXiv で公開した。
- 2023年12月6日 Google「Introducing Gemini: our largest and most capable AI model」を公開:Google は、最初からマルチモーダルとして作ったとする AIモデル Gemini を発表した。
- 2024年5月13日 OpenAI「GPT-4o が登場」を公開:OpenAI は、文章・音声・画像・動画を組み合わせて受け取り、文章・音声・画像を組み合わせて出力できる GPT-4o を発表した。
- 2025年4月5日 Meta「The Llama 4 herd」を公開:Meta は、重みを公開するネイティブなマルチモーダルのモデルとして、Llama 4 Scout と Llama 4 Maverick を発表した。
- 2026年6月30日 NEDO「AIロボット・フィジカルAIを見据えたマルチモーダル基盤モデル開発事業」の実施体制を決定:NEDO は、15件の申請を審査し、国産のAI基盤モデルを開発する事業の実施予定先を決めた。
- 2026年10月13日 Google DeepMind「Gemini 4 Argon – Model Card」を公開:Google DeepMind は、ネイティブにマルチモーダルな推論のモデル Gemini 4 Argon のモデルカードを公開した。
- 2026年10月15日 Meta「Introducing Muse Spark Open」を公開:Meta は、ネイティブにマルチモーダルなモデル Muse Spark Open の重みを公開した。
マルチモーダルに関する国の戦略と開発事業
AIロボティクス戦略が掲げる国産の基盤モデル
AIロボティクスに関する関係府省連絡会議は、2026年3月26日に AIロボティクス戦略をまとめ、5月27日に一部を変えた。戦略の施策の1つに、国産のマルチモーダル基盤モデルの開発がある。
国産のマルチモーダル基盤モデルは、国内の現場のデータを守りながら、将来も使い続けられるものを目指すと、戦略は記している。現実の動きを理解し、先の状態を予測できる世界モデルを含む技術の基盤も開発するとしている。
2026年5月27日の一部変更の時点で、戦略が示す予定は、国産のロボット基盤モデルのベータ版を2027年6月ごろをめどにオープンソースで公開することだ。国産のマルチモーダル基盤モデルを使ったロボット基盤モデルも、できるだけ早く公開するとしている。
NEDO が2030年度までの開発事業の実施先を決定
国立研究開発法人の NEDO(新エネルギー・産業技術総合開発機構)は2026年6月30日、「AIロボット・フィジカルAIを見据えたマルチモーダル基盤モデル開発事業」の実施予定先を決めたと発表した。15件の申請を審査し、Noetra(旧名は日本AI基盤モデル開発)と産業技術総合研究所を選んだ。
NEDO の事業で開発するのは、フィジカルAIの開発の基盤になる国産のAI基盤モデルだ。期間は2026年度から2030年度で、2027年度以降の事業の見直しと継続の可否は毎年度の審査で決める。
マルチモーダルの英語での言い方
| 英語表記 | 意味 | 使用主体 |
|---|---|---|
| multimodal | 種類の違う複数のデータを扱うこと | Google、Meta など |
| multimodality | AIのモデルやシステムが種類の違うデータを処理できる能力 | International AI Safety Report |
| modality | AIのモデルが入力として受け取り、出力として生み出すデータの種類 | International AI Safety Report |
| natively multimodal | 最初から種類の違うデータで学習させ、1つのモデルで扱う作り | Google、Meta |
| Vision-Language-Action(VLA)model | 視覚の内容と言葉の指示を受け取り、ロボットへの命令を出すマルチモーダルの基盤モデル | International AI Safety Report |
マルチモーダルのモデルの弱点と攻撃の手口
画像の中の物を数える作業で誤ることがある
International AI Safety Report によると、汎用のAIシステムは事実や論理の基本的な誤りを起こすことがあり、こうしたもろさはマルチモーダルの能力にも及ぶ。モデルは、場面の中の物の数を数えるといった空間の推論の作業で、成績が低いことが多いという。
画像に見えない指示を埋め込む攻撃
セキュリティの国際団体 OWASP は、LLMを使うアプリの主なリスクをまとめた2026年版の文書で、プロンプトインジェクションの手口の1つにマルチモーダルの注入を挙げている。画像や音声、動画に、人が知覚できないほどの細工で指示を仕込み、モデルの読み取りの部品にその指示を取り出させる手口だ。
OWASP が示す想定の場面では、攻撃者は人の目に見えない形で画像に指示を埋め込む。モデルが画像からその指示を読み取ると振る舞いが変わり、有害な出力や許可のないツールの呼び出しが起きる。
OWASP は情報の漏えいのリスクでも、画像を読み取るモデルがスクリーンショットや通知、PDF のメタデータから認証情報や個人情報を文字として読み取ることを挙げている。文章を画像にしたり、画像の文字を読み取って文章にしたりするモダリティの変換で、1つのモダリティだけを見る情報漏えいの対策をすり抜けるという。
情報処理技術者試験などのシラバスに記載された「マルチモーダルAI」
情報処理推進機構(IPA)は2026年9月30日、2027年度から始める予定の新しい試験制度のうち、基本情報技術者試験などのシラバス案を掲載した。「マルチモーダルAI」は、基本情報技術者試験のシラバス案で、生成AIの利活用の項目にある活用領域と活用目的の用語例に挙がっている。
同じ日に掲載した、プロフェッショナルデジタルスキル試験(仮称)と情報処理安全確保支援士試験の科目A-1(共通知識)のシラバス案にも、同じ用語例がある。
IPA は、2026年1月に掲載した ITパスポート試験のシラバス(Ver.6.5)でも、AIの利活用の項目で活用領域と活用目的の用語例に「マルチモーダルAI」を挙げている。
マルチモーダルに関連する用語
- VLA(Vision-Language-Action Model):カメラの映像などの視覚の情報と言葉の指示を受け取り、ロボットを動かす命令を出力するAIのモデル。
- Computer Use(コンピューター操作):AIが画面のスクリーンショットを読み取り、マウスのクリックやキーボードの入力でアプリやWebサイトを操作する機能。
- 音声エージェント:利用者と声で会話しながら質問に答え、予約の変更などの作業も進めるAIエージェント。
- 世界モデル:現実や仮想の世界の動きをデータから学び、先に起きることや行動の結果を予測・模擬するAIのモデル。
- フィジカルAI:カメラやセンサーで現実の空間の状況を読み取り、ロボットや自動運転車などの機械を動かして作業を行うAI。
- 大規模言語モデル(LLM):大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデル。
- プロンプトインジェクション:AIへの入力に指示を紛れ込ませ、利用者や開発者の意図と違う動きをAIにさせる攻撃。
マルチモーダルに関する出典
Yoshua Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
AIロボティクスに関する関係府省連絡会議「AIロボティクス戦略 ~社会実装を加速し、巨大市場を切り拓く~」(2026年3月26日、5月27日一部変更)
OpenAI「GPT-4o が登場」(2024年5月13日)
Google「Introducing Gemini: our largest and most capable AI model」(2023年12月6日)
Meta「The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation」(2025年4月5日)
Google DeepMind「Gemini 4 Argon – Model Card」(2026年10月13日)
Google「Understand and count tokens | Gemini API」
OpenAI「Models | OpenAI API」
Google「Gemini 4 Argon | Gemini API」
Google「Gemini models | Gemini API」
Google「Gemini Omni Flash | Gemini API」
Anthropic「Models overview」
Meta「meta-models/Muse-Spark-Open-816B-A42B」(Hugging Face)
Jiquan Ngiam ほか「Multimodal Deep Learning」(2011年、ICML 2011)
Tadas Baltrušaitis ほか「Multimodal Machine Learning: A Survey and Taxonomy」(2019年2月1日、IEEE Transactions on Pattern Analysis and Machine Intelligence)
OpenAI ほか「GPT-4 Technical Report」(2023年3月15日、arXiv)
NEDO「「AIロボット・フィジカルAIを見据えたマルチモーダル基盤モデル開発事業」の実施体制の決定について」(2026年6月30日)
NEDO「「AIロボット・フィジカルAIを見据えたマルチモーダル基盤モデル開発事業」実施予定先一覧(資料1)」(2026年6月30日)
OWASP GenAI Security Project「OWASP GenAI LLM Top 10 2026」(2026年8月3日)
情報処理推進機構「新試験制度のシラバス案について」(2026年6月30日公開、10月30日更新)
情報処理推進機構「基本情報技術者試験 シラバス(案)Ver.0.1」(2026年9月30日掲載)
情報処理推進機構「プロフェッショナルデジタルスキル試験(仮称)及び情報処理安全確保支援士試験 科目A-1(共通知識)シラバス(案)Ver.0.1」(2026年9月30日掲載)
Meta「Introducing Muse Spark Open, The Most Capable US Open-Weight Model to Date」(2026年10月15日)
情報処理推進機構「ITパスポート試験 シラバス Ver.6.5」(2026年1月8日掲載)




