本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

ハルシネーション(Hallucination)とは・意味、種類・原因・各社の評価・対策

ハルシネーションとは?

ハルシネーション(Hallucination)とは、生成AIが事実と異なる内容や実在しない情報を、正しいかのようにもっともらしい文章で出力する現象のこと。英語の hallucination は、一般に幻覚を意味する語だ。

日本の公的な資料も、「ハルシネーション」という表記を使っている。総務省と経済産業省のAI事業者ガイドラインの第1.2版の別添は、AIによるリスクの例に「ハルシネーション等による誤った出力」を挙げている。別添は、生成AIが「事実と異なることをもっともらしく回答する」ことをハルシネーションと呼ぶ。

デジタル庁は2026年10月、政府職員が使う生成AIの環境「ガバメントAI 源内」の基準として「源内基準」を公表した。デジタル庁はこの基準で、生成AIが事実と違う内容や実在しない情報を事実のように作る場合があるとし、それを「いわゆる「ハルシネーション」」と呼んでいる。

OpenAI は2025年9月の発表で、ハルシネーションを、言語モデルが生成するもっともらしいが誤った記述と説明した。同社は、モデルが自信をもって事実でない答えを生成する場合を、ハルシネーションと呼んでいる。

ハルシネーションの主な種類

Anthropic は、2026年4月に公開した Claude Mythos Preview のシステムカード(モデルの性能や安全性の評価をまとめた文書)で、ハルシネーションを2つの種類に分けて評価した。

  • 事実のハルシネーション(factual hallucinations):AIが現実の世界についての事実を作り出すこと。同社は、架空の引用元を示す、日付を取り違える、時事の出来事を誤るといった例を挙げる。
  • 入力のハルシネーション(input hallucinations):AIが自分の置かれた環境について事実でないことを言うこと。同社は、Web検索やファイルへのアクセスなど、実際には与えられていない道具を使えると主張する例を挙げる。

Anthropic は Claude の日本語の手引きで、事実として誤った文章に加え、AIに与えたコンテキスト(渡した文書など)と食い違う文章を生成することも、ハルシネーションとして説明している。

AIがプログラムのコードを生成するときに、実在しないパッケージの名前を示す現象は、パッケージハルシネーションと呼ばれる。

ハルシネーションが起きる原因

OpenAI の Adam Tauman Kalai 氏らは、ハルシネーションの原因を論じた論文を2025年9月に公開した。Kalai 氏らは2026年4月に科学誌 Nature にも論文を発表し、ハルシネーションが事前学習で生じ、正答率で採点する評価によって残り続ける仕組みを説明している。事前学習は、大量の文章を使ってモデルに次に来る語を予測させる、最初の段階の学習を指す。

一度しか出てこない事実は事前学習で誤りやすい

著者らによると、文法のように繰り返し現れる規則では避けられない誤りは生じず、一度きりの細部のように学習データに繰り返し出てこない事実では避けられない誤りが生じる。

著者らが挙げる例では、人物の誕生日についての事実の20%が事前学習のデータに一度しか現れなければ、事前学習を終えたモデルは誕生日の事実の少なくとも20%でハルシネーションを起こすはずだ。著者らは、これを単純化した設定での定理として示している。一方で、学習データに何度も現れる国の首都では、モデルがハルシネーションを起こすことはまれだとしている。

OpenAI によると、つづりや括弧の対応は一貫した型に従うので、その誤りはモデルの規模が大きくなると消える。ペットの誕生日のように、規則性がなくまれにしか現れない事実は型だけからは予測できず、ハルシネーションにつながる。

正答率だけの採点では推測するほうが得点が高い

著者らは、事前学習のあとの段階はこうした誤りを直すことを目指すが、正答率のような主要な指標では不確かさを認めるより推測するほうが有利になると指摘する。多くのリーダーボード(モデルの成績を並べた順位表)は問題ごとに正解か不正解かで採点し、答えを控えると通常は不正解として扱う。この採点では、分からないときも推測で答えるほうが得点の期待値は高くなる。

著者らが調べた主な評価10件のうち、不確かさを示した答えにわずかでも点を与えるのは、WildBench の1件だけだった。

OpenAI は、推測するほうが正答率で有利になる例として、GPT-5 のシステムカードにある SimpleQA(短い答えで事実を問う質問集)の結果を示した。この結果は、Web を使わない設定で測ったものだ。gpt-5-thinking-mini は、正答率では OpenAI o4-mini をわずかに下回る。一方で、誤答の率は o4-mini よりはるかに低い。

指標 gpt-5-thinking-mini OpenAI o4-mini
答えを控えた割合 52% 1%
正答率 22% 24%
誤答率(ハルシネーションの率) 26% 75%

確かでないときに推測すると正答率は上がるが、誤りとハルシネーションも増えると、OpenAI は指摘する。

ハルシネーションの語が広まった経緯

Joshua Maynez 氏らは2020年に発表した文書の要約についての論文で、入力の文書に忠実でない内容をモデルが生成することを「hallucinate」と表している。

英語では、Cambridge Dictionary が2023年11月15日に、AIが誤った情報を作り出すという意味を加えた hallucinate を2023年を代表する語に選んだ。

日本では、情報処理推進機構(IPA)が2023年8月7日にITパスポート試験のシラバスの改訂を公表し、生成AIに関する項目と用語例を加えた。この改訂で、AIを利活用するうえでの留意事項の用語例に、ハルシネーションが加わった。

2026年1月に掲載された ITパスポート試験のシラバスの Ver.6.5 にも、留意事項の用語例としてハルシネーションが記載されている。

ハルシネーションに関する主な出来事・ニュース

ハルシネーションに関する研究・各社の評価

gpt-5-thinking は重大な誤りのある回答が o3 より78%少ない

OpenAI は2025年8月の GPT-5 のシステムカードで、ChatGPT の実際の利用を代表する質問を使い、Web の閲覧を有効にした設定で回答の事実の誤りを測った。誤りの判定には、Web にアクセスできるLLMの採点役を使った。

gpt-5-thinking では、事実の主張のうち小さな誤りか重大な誤りを含むものの割合が、OpenAI o3 より65%小さかった。重大な誤りを1つ以上含む回答は、o3 より78%少なかった。

LongFact と FActScore の公開されている質問を使った別の評価では、検索を使う設定と使わない設定のどちらでも、gpt-5-thinking の事実の誤りは o3 の5分の1未満だった。

GPT-6 Astra は GPT-5.6 Sol より報告された誤りを繰り返しにくい

OpenAI は2026年9月の GPT-6 Astra のシステムカードで、ChatGPT の会話を使って事実性を評価した。使ったのは、以前のモデルの利用者が事実の誤りを含むと報告した会話を、個人を特定できないようにしたものだ。

指標は、回答に誤りが1つでもあるか(回答ごとのハルシネーションの率)と、報告された誤りを繰り返すかの2つだ。GPT-6 Astra の事実の誤りは GPT-5.6 Sol より大幅に少なく、報告された誤りを繰り返す割合も大きく下がったと、OpenAI は報告している。

同社は、改善が特に目立ったのは、応答までの時間を非常に短くした設定や推論を軽くした設定だとしている。この評価の質問は誤りの起きやすい例をとらえるためのもので、同社は、誤りの率が実際の利用での率よりはるかに高く出ると見込んでいる。

Anthropic は不正解を差し引いた得点でも評価

Anthropic は Claude Mythos Preview のシステムカードで、Web検索などの道具を使わずに、あまり知られていない事実を問う質問に答えさせる3つの評価を行った。回答は正解・不正解・不確かの3つに分けて採点した。

同社は、推測を重ねると正解と不正解の両方が増えるとして、正解の数から不正解の数を引いた「正味の得点(net score)」も計算した。比べた同社のモデルの中で、この得点が最も高かったのは Claude Mythos Preview だった。

入力のハルシネーションは、500件ずつ2組の依頼で測った。1組はコードの実行やファイルの読み込みなどを頼むが、それに必要な道具がつながっていない依頼で、もう1組は添付ファイルがないなど必要な文脈が欠けた依頼だ。

比べたモデルの中で、Claude Mythos Preview はどちらの組でもハルシネーションの率が最も低かった。以前のモデルは、道具を実行したかのような架空の呼び出しと結果をたびたび書き出していたという。

Anthropic は、入力のハルシネーションの依頼を Claude Opus 4.6 がハルシネーションを起こしやすかった場面に絞って選んだため、Opus 4.6 の率が高めに出ているとしている。

採点の仕方を質問に書くと誤りを減らす対策のほうが得点が高い

Kalai 氏らは Nature の論文で、Gemini 3 Pro、GPT-5、Grok 4、Claude Opus 4.5 の4つのモデルに SimpleQA の4,326問を答えさせた。著者らが試した対策は、同じ質問に2回答えさせ、同じモデルが2つの答えを一致と判定しなければ答えを控えさせる単純なものだ。

採点の仕方を質問に書かない通常の形では、この対策で誤答は減ったが、正答も減った。答えを控えたときに得られる点を質問に書き添えた形では、試した4つの条件のどれでも、どのモデルでも対策を適用したほうが得点が高かった。4つの条件は、誤答の減点にすると0点・1点・3点・9点に当たる。

誤答の減点が3点か9点に当たる条件では、対策を適用しない4つのモデルの得点はすべてマイナスだった。著者らは、常に答えを控えたほうが得点が高くなるこの結果を、強い自信過剰を示すものとみる。著者らは、この実験は既定の設定で行ったもので、モデルどうしを統制して比べた評価ではないとしている。

2025年12月の FACTS では全モデルが70%未満

Google DeepMind は2025年12月に FACTS Benchmark Suite を公開した。この評価の組は、内部の知識で答える Parametric、Web検索を使う Search、画像についての質問に答える Multimodal、与えた文脈に沿って答える Grounding v2 の4つのベンチマークで事実性を測る。

同社が発表の時点で評価した15のモデルでは、総合の FACTS Score が最も高かったのは Gemini 3 Pro の68.8%だった。評価したモデルは、すべて総合の正確さが70%を下回った。Gemini 2.5 Pro から Gemini 3 Pro にかけて、誤りの率は Search で55%、Parametric で35%下がったという。

ハルシネーションを減らす対策と数字を読むときの注意

評価の採点で誤答を重く減点する提案

OpenAI は、自信をもって誤った答えを不確かさの表明より重く減点し、不確かさを適切に示した答えに部分点を与えるよう、採点を改めることを提案している。同社は、不確かさを考慮した評価をいくつか別に足すだけでは足りず、広く使われる正答率の評価の採点を改める必要があるとする。

Kalai 氏らは、採点の仕方を質問の中に明記する「open rubric」の評価を提案している。たとえば答えを控えると75%の点を得られると質問の中で示せば、正しい見込みが75%を超えるときに推測して答えるのが最もよい戦略になる。

検索した資料を回答の根拠にするRAG

AI事業者ガイドライン第1.2版の別添は、LLMの文章の生成に外部の情報の検索を組み合わせる RAG(検索拡張生成)について、ハルシネーションを抑える効果が期待されているとしている。OpenAI も GPT-5 で、最新の情報を求めて効果的に Web を閲覧するようモデルを訓練することに力を入れたと説明している。

Google DeepMind は、FACTS の Search の評価を、Web にアクセスできる場合でもLLMにとって難しくなるように作ったとしている。

指示の書き方で減らす方法

Anthropic は Claude の日本語の手引きで、ハルシネーションを減らす方法として次のようなものを挙げている。

  • 「わかりません」と答えることを、AIに明示的に認める。
  • 20,000トークンを超える長い文書では、作業の前に、文書から一語一句そのままの引用を取り出させる。
  • 主張ごとに引用と出典を示させ、裏づけの引用が見つからない主張は取り下げさせる。
  • 渡した文書の情報だけを使い、一般的な知識を使わないよう指示する。
  • 同じプロンプトで何度か実行し、出力の食い違いを比べる。

同社は、これらの方法を使ってもハルシネーションは完全にはなくならないとし、重要な情報は確かめるよう求めている。

源内基準は数値や固有名詞の確認を求める

デジタル庁の源内基準は、源内を使う政府職員などの利用者に対し、生成AIの出力を確かめないまま事実とみなさないよう求めている。重要な情報は、原典や法令、政府機関の公表資料などの信頼できる一次資料で確かめることとしている。

源内基準が特に十分な確認を求める情報には、数値や統計、年月日、法令の名称や条文、人名や組織名などの固有名詞、文書や会議の名称と存在、出典やURLなどがある。

各社の数字は測り方の違う評価の値

OpenAI、Anthropic、Google DeepMind は、それぞれ別の質問の集まりと採点の方法でハルシネーションを測っている。

OpenAI の GPT-5 の65%と78%の数字はLLMの採点役による判定で、採点役が取り出した主張の正しさを人間の評価者が別に判定した結果との一致は75%だった。食い違いを調べると採点役のほうが人間の評価者より多くの誤りを正しく見つける傾向があったという。

OpenAI の説明では、情報が手に入らない、小さなモデルは考える力が限られる、あいまいな点を確かめる必要があるといった理由で答えを決められない質問がある。そのため、難しい評価や実際の利用では、正答率は100%に届かないという。

ハルシネーションに関連する用語

ハルシネーションに関する出典

総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
デジタル庁「ガバメントAI 源内 ガバナンス・セキュリティ・セーフティに関する基準(「源内基準」)」(2026年10月)
情報処理推進機構「ITパスポート試験 シラバス Ver.6.5」(2026年1月8日掲載)
情報処理推進機構「ITパスポート試験におけるシラバスの一部改訂について(生成AIに関する項目・用語例の追加など)」(2023年8月7日公開、8月31日更新)
情報処理推進機構「ITパスポート試験 シラバス Ver.6.2(変更箇所表示版)」
OpenAI「Why language models hallucinate」(2025年9月5日)
Adam Tauman Kalai ほか「Evaluating large language models for accuracy incentivizes hallucinations」(2026年4月22日、Nature)
Anthropic「System Card: Claude Mythos Preview」(2026年4月7日)
Anthropic「ハルシネーションを減らす」
OpenAI「GPT-5 System Card」(2025年8月7日)
OpenAI「GPT-6 Astra System Card」(2026年9月3日)
Google DeepMind「FACTS Benchmark Suite: Systematically evaluating the factuality of large language models」(2025年12月9日)
Google DeepMind「FACTS Grounding: A new benchmark for evaluating the factuality of large language models」(2024年12月17日)
Joshua Maynez ほか「On Faithfulness and Factuality in Abstractive Summarization」(2020年5月2日、arXiv)
経済産業省「AI事業者ガイドライン」
Cambridge University Press & Assessment「‘Hallucinate’ is Cambridge Dictionary’s Word of the Year 2023」(2023年11月15日)