本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

スタンフォード大学の研究者ら、LLMの研究結果50件を再検証し、44%は論文が示した現象が新しいモデルでほぼ消えたと報告

スタンフォード大学のオーウェン・クイーン氏とジェームズ・ゾウ氏は11月2日、広く引用されてきた大規模言語モデル(LLM)の研究結果50件が今のモデルにも当てはまるかを調べた報告「The shelf life of LLM findings」を公開した。試したのは、2024年7月から2026年9月に公開された8つの開発元の20モデルだ。

22件(44%)は論文が示した効果が新しいモデルでほぼ消えた「期限切れ」に分類された。17件(34%)は効果が弱まったものの残り、8件(16%)は持続し、3件(6%)は強まった。

効果の大きさは論文と同じ強さを1、消えた状態を0で表し、5分の1以下を期限切れの範囲とした。判定は主に、各モデルの値を公開順に並べて当てはめた傾向の線で行い、一部のモデルに効果が強く残っていても期限切れになることがある。

期限切れの多くは能力面の失敗で、文字の数え間違い、架空の文献の引用などが含まれる。弱まったものには、ジェイルブレイクやプロンプトインジェクションの受けやすさ、専門分野のハルシネーションなどがある。

持続または強まったものの多くは、能力より好みや判断についての研究結果だ。利用者へのお世辞や同調、政治傾向のテストでの左寄りの回答などがある。著者らは能力面の失敗の多くが薄れた理由の仮説の1つとして、開発元が測定して訓練の目標にできる正解がある点を挙げ、好みの傾向は気づきにくく訓練で減らしにくい可能性があると説明する。

期限切れに分類された架空の文献の引用を見ると、ウォルターズ氏らの2023年の論文ではGPT-3.5を使うChatGPTの引用の55%が架空だった。

報告では論文のプロンプトを42のテーマで試し、20モデルとは別に再現用に加えたGPT-3.5 Turboは生成した210件の59%が架空だった。20モデルのうち架空の割合はClaude Sonnet 5.5が1%、GPT-6.1 Solが0%だった一方、2026年7〜9月に公開されたQwen3.7-Flashは69%に上った。実在の文献の書誌情報の誤りは、この割合とは別に扱っている。

各論文の公開からの期間で見ると、まだ期限切れでないものも計算に入れた50件全体の推定で、1年で16%、2年で39%が期限切れになった。

モデルごとに数えると、期限切れの範囲に入る研究結果は20モデルのうち最も古いGPT-4o miniで50件中5件、最も新しいGPT-6.1 Solでは30件だったが、2026年7〜9月に公開されたモデルの間でも11件から30件まで差があった。モデルごとの結果は測った振る舞いの一覧で、総合的な順位表ではない。

著者らは今回の結果を暫定的なものと位置づける。対象は無作為に選んだものではなく、推定の信頼区間は50件にとどまるために広い。論文の数値と比べた48件では43件が許容範囲内で再現し、5件は論文より強く出た。ただし論文と同じモデルによるのは25件で、ほかは代替のモデルを使った。

著者らは、研究結果は特定の時点の特定のモデルについての観察だとし、論文は結果ごとにモデル、版、日付を示す必要があると提言した。

【関連サイト】Owen Queen、James Zou(Stanford University)「The shelf life of LLM findings」

【関連サイト】Owen Queen、James Zou(Stanford University)「The shelf life of LLM findings」

【関連サイト】William H Walters、Esther Isabelle Wilder(Scientific Reports)「Fabrication and errors in the bibliographic citations generated by ChatGPT」

画像:Editorial credit: Ken Wolter / Shutterstock.com