ハルシネーションはなぜ起きる?出力結果の事実確認方法やハルシネーションの予防方法

2026年9月に出版社の高文研が刊行した本が、回収・絶版になった。書籍内で挙げられた国際裁判の判例3件が実在しなかったためだ。回収された本の著者は、米国の大学図書館の判例データベースのURLを生成AIに入力して事例を挙げさせたと説明している。出力された英文の判例がデータベースの記録だと信じ、確かめずに本に使ったという。
生成AIが出力した実在しない情報を確かめずに使う失敗は、分野を問わず起きている。米ミネソタ州の訴訟では、州司法長官側が提出したスタンフォード大学の教授の専門家意見書に、存在しない論文2本の引用が含まれていた。
連邦地裁は2025年1月の決定で、存在しない論文の引用はスタンフォード大学の教授が下書きにGPT-4oを使ったことから生じたとみた。教授がGPT-4oの出力した引用を確かめていなかったとして、地裁は意見書全体を証拠から除外した。一方でAIを調査に使ったこと自体はとがめず、裁判に提出する書面ではAIが生成した内容を確かめるよう呼びかけた。
また、米国の新聞Chicago Sun-Timesでは、2025年5月18日付の紙面に掲載された夏の特集で、推薦図書15冊のうち10冊が実在しない本だった。特集は外部の配信会社から仕入れたもので、書き手は記事をAIで作成して内容を確かめずに送ったと認めている。
Chicago Sun-Timesの側も、特集を編集の担当者に見せないまま紙面に組み込んだ。同紙のCEOは自社のサイトで謝罪し、電子版から特集を削除した。特集の分の料金は購読者に請求しないことにした。
さらに、AIを使うコードエディターのCursorでは2025年4月、メールでの問い合わせに答えるAIの返信を利用者がネットの掲示板で問題にした。
IT系のニュースサイトThe Registerの報道によると、Cursorを開発するAnysphereの共同創業者は、AIの返信が伝えた利用の制限について「そのような規定はない」とRedditに投稿して謝罪した。Anysphereは問い合わせた利用者に全額を返金した上で、AIが作成した返信にはAIと明記するようにした。
研究者が公開しているデータベースには、裁判の場だけでも2026年10月16日時点で2,199件の判断が収録されている。収録の対象は主に、AIが生成した誤った内容に当事者が頼ったと裁判所が認め、あるいは示唆した判断だ。
AIが事実と異なる答えを正しい情報であるかのように出力するハルシネーションは、本や新聞、裁判の書面など、場所を選ばずに起きる。
この記事は、AIがもっともらしい誤りを答える理由を説明した上で、日々の業務でハルシネーションを防ぐために依頼文に足す一文の例や、AIの出力で特に確かめたい箇所などを紹介する。
AIはなぜ、知らないことをもっともらしく答えるのか?
OpenAIなどの研究者は、2026年4月にNatureで発表した論文で、AIがもっともらしい誤りを答える原因としてまず学習の仕組みを挙げている。AIは大量の文章から、次に来る言葉を予測するように学ぶ。文法のように何度も現れる規則は習得できるが、学習データに一度しか現れない事実はもともと正確に習得できない。首都の名前のように何度も現れる事実を間違えることはまれだ。
そのうえ、AIを評価する試験の採点の仕方が、答えを控えるより推測で答えるほうを有利にしている。主な試験の多くは、答えが合っているかどうかだけで点をつける。正誤だけで採点すると、AIが「分からない」と答えても誤りと同じ扱いになる。そのため、自信がなくても答えたほうが点は上がる。試験の点が、どのAIを公開するかの判断に使われている。
Natureの論文には、2025年11月にGPT-5、Claude Sonnet 4.5、DeepSeekに「PGGBは何の略?」と聞いた例が記載されている。3つのAIは「PGGB」についてそれぞれ別の正式名称をもっともらしく具体的に答えたが、どれも誤りだった。どのAIも答えを控えたり聞き返したりはしなかった。
AIへの依頼文に一文を足すと、ハルシネーションが減ることがある
米ジョンズ・ホプキンス大学の研究者は2026年8月に改訂版を公開した研究で、「分からないなら分からないと答えてよい」とAIに伝える一文の効果を測っている。あまり知られていない事実を英語で問う質問集でGPT-5 miniにそのまま聞くと、97%の質問に答え、答えた分の53.3%が誤りだった。
GPT-5 miniへの質問に「本当に分からなければ、まず『分からない』と言って」という趣旨の英語の指示を足すと、答えた分の誤りは22.0%に低下したが、答えた質問は29%に減少した。答える質問がどれだけ減るかはモデルによって異なり、ほとんど何も答えなくなったモデルもあった。
出典:Zong ほか「I-CALM: Incentivizing Confidence-Aware Abstention for LLM Selective Answering」arXiv:2604.03904(v2、2026年8月14日)
OpenAIなどの研究者はNatureの論文で、AIの性能を測る試験の設問に採点の仕方を書き添えることを提案している。例として、合っていれば1点、誤りはマイナス1点とし、正しい見込みが50%未満なら答えを控えるよう設問に書き添える方法を挙げている。後の表の「AIにどの程度の確かさで答えるかを伝える」の例は、この方法を仕事の依頼文に当てはめて編集部が作ったものだ。
また、AIは依頼文の誤った前提に合わせて答えることがある。スイスの大学ETHチューリッヒなどの研究者は、2025年10月に公開した研究で、AIが依頼文の誤った前提をそのまま受け入れるかを調べた。AIに誤った数学の命題を「証明して」と頼むと、最も成績のよかったGPT-5でも29%の問題で誤りを指摘せずに証明を出力した。
たとえば「昨年度比20%増の理由をまとめて」と頼めば、20%増が誤りでもAIが理由を並べることはありうる。
依頼文に足す一文の例をねらいごとに挙げる。
| ねらい | 依頼文に足す一文の例 |
|---|---|
| AIに「分からない」と言ってよいと伝える | 「確かな根拠がなければ、推測で埋めずに『分からない』と答えてください」 |
| AIにどの程度の確かさで答えるかを伝える | 「社外に出す資料に使います。誤りは大きな問題になるので、正しい見込みが半分に満たないことは『分からない』と書いてください」 |
| AIに前提の誤りを指摘させる | 「私の依頼文の数字や前提に誤りがあれば、答える前に指摘してください」 |
利用者がAIへの依頼文の書き方を変えると、誤りが減ることがある。ただ、ジョンズ・ホプキンス大学の研究でも、「分からない」と言ってよいとAIに伝える一文を足したあと、GPT-5 miniが答えた分の2割強はまだ誤りだった。
AIの出力結果では、参考文献や人物の経歴を特に確かめる
誤りが含まれやすい箇所ごとに、仕事での例と研究や調査で分かっていることを挙げる。
| AIの出力で要注意の箇所 | 実際の仕事での例 | 研究・調査など |
|---|---|---|
| 一度しか現れない細かい事実・人物の経歴 | 取引先の担当者の前職、登壇者の肩書、中小企業の設立年 | 検索を使わない設定で、gpt-5-mainの説明に含まれる誤りの割合は、物事の概念で0.8%、著名人の経歴では6.9%(OpenAI、2025年8月)。著名でない人の経歴は、さらに情報が少ない |
| 略語・聞き慣れない名前 | 取引先の社内略語、新しいサービス名 | Natureの論文の「PGGB」の例では、3つのAIがそれぞれ別の誤った正式名称をもっともらしく答えた |
| 参考文献・論文の題・URL | 提案書の「参考:〇〇白書」「△△大学の研究によると」 | 13のモデルに計算機科学の分野の参考文献を挙げさせると、題が実在の論文と合わないものが、モデルによって14.23%〜94.93%あった(2026年2月) |
| 実在する出典の中身・引用文 | リンク先の報告書に、その数字が記載されていない | AIが生成した誤った内容に当事者が頼ったと裁判所が認め、あるいは示唆した判断を中心とする2,199件のうち931件に、研究者が公開しているデータベースが「内容の取り違え(Misrepresented)」の分類を付けている。ニュースを扱うAIの回答で直接の引用を含む1,053件のうち、12%で引用文の正確さに重大な問題があった(欧州放送連合・BBC、2025年5〜6月に各AIの無料版で調査) |
| 最新の出来事 | 取引先の現在の社長名、改正後の制度 | 2025年5〜6月の調査で、ChatGPT・Gemini・Copilotの無料版が、4月に亡くなった教皇フランシスコを現在の教皇と答えた(欧州放送連合・BBC) |
| 要約 | 会議の文字起こしの要約、契約書の要約 | AIに記事を要約させると、元の記事にない内容が加わった割合はgpt-5.5で9.3%(Vectara、2026年10月16日更新。判定はVectaraの判定モデル) |
| AIに入力した資料やURLをもとにした答え | AIに「このページを調べて」と頼んだときの答え | 高文研が回収した本の判例は、著者が判例データベースのURLを生成AIに入力して生成させたものだった |
同じAIに聞き直すと、AIの答えは正しくなる?
同じAIに聞き直しても、誤りが正されるとは限らない。カナダのIT企業TELUS Digitalの研究者が2026年2月に公開した研究では、数学と推論の問題に答えたあとで「本当に?」と聞き返すと、GPT-5.2は正しく答えていた133問のうち72問を誤った答えに変えた。聞き返されてもほとんど答えを変えなかったGemini 3 Proでも、最初に誤っていた31問のうち24問は誤ったままだった。
AIに体裁を整えさせる過程でも、誤った情報が混入することがある
音楽出版社がAnthropicを訴えた米国の訴訟で2025年5月、Anthropic側の専門家が提出した宣誓書の引用に誤った題と著者が記載されていたことが分かった。
専門家が宣誓書で引用した論文そのものは、Anthropic側の代理人の法律事務所の担当者が検索で見つけた実在のもので、リンクも正しかった。法律事務所の弁護士がAnthropicのAIであるClaudeに引用の書式を整えさせたときに誤った題と著者が出力され、手作業の引用の確認でも見落とされた。
資料の中身を自分で調べ、AIには体裁を整えさせただけでも、誤った情報が混入する可能性がある。
学習データに一度しか現れない事実はAIが正確に習得できず、性能を評価する試験の採点も推測による答えを有利にするため、AIは知らないこともそれらしく答える。依頼文に「分からないと答えてよい」と一文足すと誤りは減るが、ジョンズ・ホプキンス大学の研究では、GPT-5 miniが答えた分の2割強がまだ誤りだった。
参考文献の題や引用文、人物の経歴は同じAIに聞き直さず、元の論文や報告書と照合する。AIに引用の書式を整えさせたあとの題と著者も、元の論文と照合する。
【参照元】
- 高文研「『無責任の体系と沖縄戦』回収・絶版のお知らせとお詫び(10月10日追記)」(2026年9月24日告知、2026年10月10日追記)
- United States District Court, District of Minnesota「Order Granting in Part and Denying in Part Plaintiffs’ Motion to Exclude Expert Testimony and Denying Defendant’s Motion for Leave to File an Amended Expert Declaration」Kohls v. Ellison, No. 24-cv-3754(2025年1月10日)
- Melissa Bell「Lessons (and an apology) from the Sun-Times CEO on that AI-generated book list」(2025年5月29日、Chicago Sun-Times)
- Cursor 共同創業者、Hacker News のスレッド「Cursor IDE support hallucinates lockout policy, causes user cancellations」への書き込み(2025年4月16日)
- The Register「Cursor AI’s own support bot hallucinated its usage policy」(2025年4月18日)
- Damien Charlotin「AI Hallucination Cases Database」(2026年10月16日更新)
- Kalai, A. T. ほか「Evaluating large language models for accuracy incentivizes hallucinations」Nature 653(2026年4月22日公開)
- Zong ほか「I-CALM: Incentivizing Confidence-Aware Abstention for LLM Selective Answering」arXiv:2604.03904(v2、2026年8月14日)
- Petrov, I., Dekoninck, J. & Vechev, M.「BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs」arXiv:2510.04721(2025年10月6日)
- OpenAI「GPT-5 System Card」(2025年8月13日版)
- Xu ほか「GhostCite: A Large-Scale Analysis of Citation Validity in the Age of Large Language Models」arXiv:2602.06718(2026年2月6日、2026年5月14日改訂)
- EBU・BBC「News Integrity in AI Assistants」(2025年10月)
- Vectara「Hallucination Leaderboard」(2026年10月16日更新)
- Saadat, M. & Nemzer, S.「Certainty robustness: Evaluating LLM stability under self-challenging prompts」arXiv:2603.03330(2026年2月10日)
- Latham & Watkins「Declaration of Ivana Dukanovic Related to ECF No. 365」Concord Music Group v. Anthropic(2025年5月15日)、United States District Court, Northern District of California「Order」(2025年5月23日)




