本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

大規模言語モデル(LLM/Large Language Model)とは・意味、仕組み・主なモデル・由来

大規模言語モデル(LLM)とは?

大規模言語モデル(LLM/Large Language Model)とは、大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデルのこと。英語の large language model の頭文字をとって、LLMと略す。

チューリング賞の受賞者 Yoshua Bengio 氏が率い、100人を超える専門家が書いた国際的な報告書 International AI Safety Report の2026年版も、用語集でLLMを同じ意味で説明している。

日本の公的機関も、「大規模言語モデル(LLM)」の表記を使っている。情報処理推進機構(IPA)はITパスポート試験のシラバスで、AIの技術の用語例に「大規模言語モデル(LLM)」を挙げている。デジタル庁も、国内で開発されたLLMを政府で試すための公募で、同じ表記を使った。

総務省と経済産業省はAI事業者ガイドラインの第1.2版で、大規模言語モデルを基盤モデルの代表に位置づけている。基盤モデルは、さまざまなサービスを支える個々のモデルを生み出す中核の技術だと、同ガイドラインは説明している。

LLMよりパラメーターの数を抑え、限られた計算資源で動くように作った言語モデルは、小規模言語モデル(SLM)と呼ばれる。パラメーターは、モデルが学習で調整する数値を指す。

LLMの仕組み

事前学習で大量の文章から次の語を予測する

International AI Safety Report によると、汎用のAIモデルの開発は、データの収集と整理、事前学習、事後学習といった段階に分かれる。事前学習は最初の学習の段階で、開発者は多様で大量のデータをモデルに与え、幅広い情報と文脈の理解を身につけさせる。

事前学習のあいだ、モデルは文章や画像、音声などの数十億から数兆の例に触れる。事前学習には数週間から数か月かかり、数万から数十万のGPUやTPU(AIの計算を速く処理するための専用の半導体)を使うと、報告書は説明している。

Adam Tauman Kalai 氏らが2026年4月に Nature で発表した論文によると、LLMは事前学習で、次に来る語(またはトークン)の予測を最適化するように訓練される。トークンは、AIが文章を処理するときの文字のまとまりを指す。この学習の目的そのものが、もっともらしい誤りであるハルシネーションを生みやすい統計的な傾向をつくることを、Kalai 氏らは示している。

事後学習で用途に合わせて仕上げる

事後学習は、事前学習でできたモデルを、特定の用途に合わせて仕上げる段階だ。事後学習の方法として報告書が挙げるのは、特定のデータで追加の学習をする教師ありファインチューニングと、望ましい出力に報酬を与える強化学習だ。

強化学習には、人間の評価をもとに報酬を与える方法(RLHF)がある。数学やコードの生成のように正しさを確かめられる課題で報酬を与えるRLVRも、強化学習の方法の1つだ。

Google DeepMind は、2026年10月に公開した Gemini 4 Argon のモデルカード(モデルの仕様や評価をまとめた文書)で、学習のデータを説明している。事前学習のデータには、公開されたWebの文書のほか、文章、コード、画像、音声、動画が入っていた。事後学習には、指示に沿わせる調整のためのデータや強化学習のデータ、人間の好みを示すデータを使った。

Transformer の構造とコンテキストウィンドウ

最先端の汎用のAIモデルの多くは、Transformer と呼ばれるニューラルネットワークの構造にもとづくと、International AI Safety Report は説明している。Transformer は注意(attention)の仕組みを使い、入力のうち処理に関係の深い部分に注目する。

Google DeepMind はモデルカードで、Gemini 4 Argon を Transformer の構造にもとづく大規模なMoE(Mixture of Experts)のモデルと説明している。MoE は、モデルの中の複数のエキスパートのうち、一部だけを選んで計算に使う作りを指す。

LLMが1回に扱える文章の量には上限があり、トークンの数で表す。上限はコンテキストウィンドウと呼ばれる。Gemini 4 Argon の上限は、入力と出力を合わせて100万トークンだ。Anthropic の Claude の現行の4つのモデルも、上限は100万トークンだ。

LLMとChatGPTなどのサービスの違い

AIモデルとAIシステムは、International AI Safety Report の中で分けて説明されている。報告書が例に挙げた OpenAI の GPT-5 は、文章・画像・音声を処理する汎用のAIモデルだ。一方で ChatGPT は、大きさや能力の違う複数のモデルに、チャットの画面、Webへのアクセス、アプリとの連携などを組み合わせたAIシステムだという。

OpenAI は2026年9月に有料プランの利用者向けに最初の GPT-6 のモデルを発表し、10月7日には ChatGPT のチャットで GPT-6 の提供を順次始めた。チャットの GPT-6 は、Plus・Pro・Business・Enterprise のプランでは GPT-6 Sol というモデルで動く。

LLMの主なモデル

生成AIの大手が提供するLLMと、重みを公開している主なLLMを挙げる。重みを公開して誰でも入手して動かせる状態は、オープンウェイトと呼ばれる。

提供元 モデル 主な提供形態 コンテキストウィンドウ
OpenAI GPT-6 Astra、GPT-6.1 Terra、GPT-6 Sol など Astra は ChatGPT の Plus・Pro・Business・Enterprise のプランと OpenAI API など。Terra は ChatGPT Work と Codex、OpenAI API。ChatGPT のチャットでは、Plus・Pro・Business・Enterprise のプランで Sol が動く 記載なし
Google Gemini 4 Argon Gemini アプリ(Google AI の Pro・Ultra の契約者)、Gemini API、Google AI Studio など 入力と出力を合わせて100万トークン
Anthropic Claude Fable 5.2、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5 Claude API など。API の料金は、Opus 5.5 で入力100万トークンあたり4ドル、出力100万トークンあたり20ドル 100万トークン
Meta Muse Spark Open 重みを公開。Hugging Face などから入手でき、API を提供する事業者からも使える 100万トークン
DeepSeek DeepSeek-V4.1-Flash-1017 重みを公開。DeepSeek の API でも使える 100万トークン

※2026年11月時点

Anthropic は開発者向けの文書で、Claude を同社が開発した最先端の大規模言語モデルのファミリーと説明している。Meta の Muse Spark Open は、パラメーターの総数が8,160億で、計算に使うのはそのうち420億だ。

LLMの由来と広まった経緯

large language model という言い方は、今の生成AIより前からあった。2007年6月には、Google の Thorsten Brants 氏らが、題に「Large Language Models」を含む機械翻訳の論文を発表している。論文が扱ったのは、大量の文章から語の並びの出やすさを求める統計的な言語モデルだ。

今の最先端の汎用のAIモデルの多くがもとづく Transformer は、Ashish Vaswani 氏らが2017年6月に arXiv で公開した論文で示したネットワークの構造だ。

内閣府の知的財産戦略推進事務局が事務局を務める AI時代の知的財産権検討会は、2024年5月の中間とりまとめで、「大規模言語モデル(LLM)」の例に OpenAI の GPT-2(2019年)と GPT-3(2020年)などを挙げている。

OpenAI は2022年11月30日、会話の形で答える ChatGPT を研究プレビューとして公開し、期間中は無料で使えるようにした。ChatGPT は、2022年の初めに学習を終えた GPT-3.5 シリーズのモデルを、人間のフィードバックによる強化学習(RLHF)などで調整したものだ。

過去10年のAIの能力の伸びは、主に学習に使う計算量を増やすことで得られたと、International AI Safety Report はみている。学習の計算量と性能の関係を表す経験則は、スケーリング則と呼ばれる。

ただ近年は、研究者がモデルに長く処理させ、途中の考えの段階を書き出すよう訓練することで性能を伸ばしていると、報告書は説明している。こうした作りのモデルは、推論モデルと呼ばれる。

LLMに関する主な出来事・ニュース

LLMに関する事例

デジタル庁は国内で開発されたLLMを7件選んだ

デジタル庁は2025年12月2日、政府職員が使う生成AIの環境「源内」などで試験的に使うため、国内で開発されたLLMの公募を始めた。対象には小規模言語モデルや、行政などの分野に特化した言語モデルも含めた。画像や音声など、自然言語以外だけを扱うモデルは対象から外した。

応募の条件には、政府の統一基準が定める「機密性2情報」を政府職員が扱えるよう、ガバメントクラウドの上の推論の環境で動くことを挙げた。海外の主要なLLMと比べたベンチマークの結果を出すことや、ハルシネーション、偏りや差別的な表現、有害な内容の生成への安全の取り組みを説明できることも求めた。

デジタル庁が2026年3月6日に公表した結果では、応募は15件あり、書類の審査と評価テストを経て7件が選ばれた。評価テストは、デジタル庁が作り、試験の当日に初めて示した50問だ。選ばれたモデルには、NTTデータの tsuzumi 2、富士通の Takane 32B、Preferred Networks の PLaMo 2.0 Prime などがある。

源内で試用するのは5社のモデル

選ばれた7件のうち2社からは辞退の申し出があり、デジタル庁が最終的に契約したのは5社だった。2026年度に源内で評価検証を行う企業の一覧には、ソフトバンクの Sarashina3 mini や NEC の cotomi v3 も記載されている。

5社のモデルのうち tsuzumi 2、Takane 32B、PLaMo 2.0 Prime の3つは、ガバメントクラウドに選ばれたさくらインターネットの「さくらのクラウド」の上で動かす。評価は A/B テストで行う。源内のチャットで国産のモデルとすでに使っている別のモデルの答えを、モデル名を伏せて無作為に示し、どちらが好みかを利用者に選んでもらう方法だ。

デジタル庁は2026年8月21日に更新した発表で、2026年9月から11月に複数回の実験を行う予定としている。2026年5月29日の時点では、同庁は2027年度に源内で使う国産のモデルの公募を2026年11月に行う予定とし、2027年度には優れたモデルを有償で調達する予定としていた。

LLMの英語での言い方

英語表記 意味 使用主体
large language model(LLM) 大量の文章のデータで学習し、言語にかかわる作業を行うAIモデル International AI Safety Report、Anthropic など
foundation model 幅広い用途に合わせられるように作られた汎用のAIモデル International AI Safety Report、Google DeepMind など
base model 事前学習でできた、事後学習の前のモデル International AI Safety Report
general-purpose AI 1つの用途に特化せず、さまざまな作業を実行できるAIのモデルやシステム International AI Safety Report

LLMの限界と試験での扱い

作業によって能力に差があり、誤った情報を出すこともある

主要なAIのシステムは数学の競技で金メダルの水準の成績を出す一方で、簡単に見える作業で失敗することもあると、International AI Safety Report は記している。作業や状況によって能力が大きく違うこの特徴は、報告書で「jagged(ぎざぎざ)」と表されている。

AIのシステムは今も事実と違う情報を出すことがあり、同じか似た入力に食い違う出力を返すこともあると、報告書は指摘する。Google DeepMind も Gemini 4 Argon のモデルカードで、ハルシネーションなど、基盤モデルに一般的な限界の一部が出る場合があるとしている。

知識は学習データの時点までに限られる

Google DeepMind は、Gemini 4 の知識のカットオフ(学習した知識の区切りの時点)を2026年3月としている。分野によっては、モデルの知識がそれより古い場合があるという。Anthropic は、Claude の現行の4つのモデルについて、信頼できる知識の区切りの時点(reliable knowledge cutoff)を2026年6月としている。

開発者は公開後のAIシステムを、継続的なファインチューニングや新しい事実を集めた外部のデータベースとの接続で改善することが多いと、報告書は述べる。大きなAIモデルを、事前学習をすべてやり直さずに最新の状態に保つ方法だという。

試験のシラバスに「大規模言語モデル(LLM)」が入った

IPAは2023年8月7日に公表した ITパスポート試験のシラバスの改訂で、生成AIの仕組みや活用例、留意事項などに関する項目と用語例を加え、2024年4月の試験から適用した。変更箇所を示した版では、AIの技術の用語例に「大規模言語モデル(LLM)」が新しく加わっている。

2026年9月30日には、IPAが2027年度から始める予定の新しい試験制度のうち、基本情報技術者試験のシラバス案を掲載した。生成AIの技術の特徴の用語例には、大規模言語モデル(LLM)とあわせて Transformer、トークン、コンテキストウィンドウなどが挙がっている。

LLMに関連する用語

  • 小規模言語モデル(SLM):大規模言語モデルよりパラメーターの数を抑え、限られた計算資源で動くように設計された言語モデル。
  • フロンティアモデル:その時点で最も進んだAIモデルと同じかそれを上回る能力を持ち、幅広い作業を実行できる大規模なAIモデル。
  • 推論モデル:途中の考えの過程を最終の答えの前に作り、それを踏まえて答えるAIモデル。
  • MoE(Mixture of Experts):モデルの中の複数のエキスパートのうち、トークンごとに一部だけを選んで計算に使うモデルの作り。
  • スケーリング則:モデルの大きさやデータの量、計算量を増やしたときの性能の伸びを、予測できる形で表した経験則。
  • オープンウェイト:学習を終えたAIモデルの重みが公開され、利用者が入手して動かせる状態。
  • ハルシネーション:生成AIが事実と異なる内容や実在しない情報を、もっともらしく出力する現象。
  • ファインチューニング:事前学習を終えたAIモデルに特定の用途のデータで追加の学習をさせ、モデルの重みを調整して目的の作業に適応させる手法のこと。

LLMに関する出典

Yoshua Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
情報処理推進機構「ITパスポート試験 シラバス Ver.6.5」(2026年1月8日掲載)
デジタル庁「【終了】ガバメントAIで試用する国内大規模言語モデル(LLM)の公募について」(2025年12月2日)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
Adam Tauman Kalai ほか「Evaluating large language models for accuracy incentivizes hallucinations」(2026年4月22日、Nature)
Google DeepMind「Gemini 4 Argon – Model Card」(2026年10月13日)
Anthropic「Models overview」
OpenAI「GPT-6 と Intelligent UI をすべての人に」(2026年10月7日)
OpenAI「GPT-6 Astra:新世代の応答性能」(2026年9月3日)
OpenAI「GPT-6.1 Terra のご紹介」(2026年10月26日)
Google「Gemini 4 Argon is now available for everyone」(2026年10月13日)
Meta「Introducing Muse Spark Open, The Most Capable US Open‑Weight Model to Date」(2026年10月15日)
DeepSeek「DeepSeek-V4.1-Flash-1017: Wish-Driven Programming Made Real」(2026年10月17日)
DeepSeek「Models & Pricing」
Thorsten Brants ほか「Large Language Models in Machine Translation」(2007年6月、EMNLP-CoNLL 2007)
Ashish Vaswani ほか「Attention Is All You Need」(2017年6月12日、arXiv)
AI時代の知的財産権検討会「中間とりまとめ」(2024年5月)
OpenAI「ChatGPT が登場」(2022年11月30日)
デジタル庁「ガバメントAIで試用する国内大規模言語モデル(LLM)の公募結果」(2026年3月6日)
デジタル庁「令和8年度(2026年度)に源内で評価検証を行う企業一覧」
デジタル庁「ガバメントAI 源内における国産クラウド上での国産基盤モデルの試用開始について」(2026年7月10日、8月21日更新)
デジタル庁「ガバメントAIで使用する国産基盤モデルの公募について(予告)」(2026年5月29日)
情報処理推進機構「ITパスポート試験におけるシラバスの一部改訂について(生成AIに関する項目・用語例の追加など)」(2023年8月7日公開、8月31日更新)
情報処理推進機構「ITパスポート試験 シラバス Ver.6.2(変更箇所表示版)」
情報処理推進機構「新試験制度のシラバス案について」(2026年6月30日公開、10月30日更新)
情報処理推進機構「基本情報技術者試験 シラバス(案)Ver.0.1」(2026年9月30日掲載)

LLMに関連する記事