LLM-as-a-Judge とは・意味、採点の形式・評価の機能・偏り

LLM-as-a-Judge とは?
LLM-as-a-Judge とは、評価の基準を示したLLM(大規模言語モデル)に、生成AIの回答や作業の結果を採点させる評価の方法のこと。
Anthropic は2026年11月の記事で、今の評価の多くは別のAIモデルに回答を読ませて採点させており、採点役のモデルは「LLM judge」や「grader」と呼ばれることが多いとしている。理由は、数十万件の会話の記録を読める人間のチームはないためだと説明している。
AWS は日本語の発表でもLLMに採点させる方法を「LLM-as-a-judge」と表記し、2024年12月に Amazon Bedrock のモデル評価の機能としてプレビューで提供を始めた。AWS は、以前は人間による評価と、文字列の厳密な一致などで測る従来の自動の評価のどちらかを選ぶ必要があったと説明している。
LLM-as-a-Judge の採点の形式
Lianmin Zheng 氏らは2023年の論文で、LLMに採点させる形式を分けて示した。どの形式も、単独でも組み合わせても使える。
- 2つの回答を比べる形式(pairwise comparison):質問と2つの回答を示し、どちらが良いか、または引き分けかを判定させる。
- 1つの回答に点数を付ける形式(single answer grading):1つの回答に直接点数を付けさせる。
- 参照の解答を添える形式(reference-guided grading):数学の問題のように参照の解答があるときに、それを示して採点させる。
また、Google Cloud の Gen AI Evaluation Service も、1つの回答を評価するポイントワイズと、2つの回答を比べるペアワイズの指標のテンプレートを用意している。Google は、採点役のモデルを「判定モデル」と呼ぶ。
Google のテンプレートでは、判定モデルへの指示文に、判定モデルの役割と作業の説明、指標の定義と基準、各スコアの意味を示す評価ルーブリック(採点の基準表)を書く。指示文には評価の手順や採点の見本を加えることもでき、Google は見本を5〜10個から始めることを勧めている。
OpenAI が API の評価の機能で用意した採点役 score_model は、指示文に沿って決めた範囲の数値で点数を返す。数値でない出力は0点として扱われる。ただし、OpenAI は2026年6月3日、評価の画面・API と評価に使う採点役の提供を11月30日に終えると告知し、これらは読み取り専用になっている。
LLM-as-a-Judge を使える主な評価の機能
開発者向けの評価の機能では、採点役のLLMの呼び名と採点させる方法が会社ごとに異なる。
| 提供会社 | 機能 | 採点役の呼び名 | 主な特徴 |
|---|---|---|---|
| Gen AI Evaluation Service | 判定モデル | ポイントワイズとペアワイズの指標のテンプレートがあり、基準と評価ルーブリックを指示文に書いて採点させる | |
| AWS | Amazon Bedrock のモデル評価 | 評価者モデル(ジャッジモデル) | 採点役は、一覧にあるモデル(Amazon Nova、Anthropic の Claude、OpenAI の GPT-5.5 など)から選ぶ。Amazon Bedrock の外のモデルが生成した回答も評価できる |
※2026年11月時点
LLM-as-a-Judge の由来と広まった経緯
Lianmin Zheng 氏ら13人の研究者は2023年6月に公開した論文で、GPT-4 のような最先端のLLMを人間の評価者の代わりに使い、チャットAIの回答を評価する方法を「LLM-as-a-judge」と呼んだ。LLMに採点させる方法は、Zheng 氏らの以前のブログ記事のほか、同じ時期やその後のほかの研究でも試されていた。
論文「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」では、LLMの判定が人間の好みと一致するかを確かめるための2つのベンチマークとして、何往復も続く質問の集まり MT-Bench と利用者が2つのチャットAIの回答を比べて選ぶ場 Chatbot Arena も示された。
その後、LLMに採点させる方法は AWS や Google Cloud の評価の機能に組み込まれた。AWS は2025年3月に Amazon Bedrock の LLM-as-a-judge の一般提供を始めた。
LLM-as-a-Judge に関する主な出来事・ニュース
- 2023年6月9日 Zheng 氏ら「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」を公開:Lianmin Zheng 氏らは、強いLLMを判定役に使う LLM-as-a-judge の使い方と限界を調べた論文を公開した。
- 2024年12月1日 AWS「Amazon Bedrock のモデル評価で LLM-as-a-judge を提供 (プレビュー)」:AWS は、Amazon Bedrock のモデル評価で、LLMをジャッジとして選んで評価する機能をプレビューで提供し始めた。
- 2025年3月20日 AWS、Amazon Bedrock の LLM-as-a-judge の一般提供を開始:AWS は、LLM-as-a-judge の一般提供を始め、Amazon Bedrock の外のモデルやアプリの回答も評価できるようにした。
- 2025年5月13日 Arora 氏ら「HealthBench: Evaluating Large Language Models Towards Improved Human Health」を公開:Rahul K. Arora 氏らは、262人の医師が会話ごとに作った採点基準で回答を評価する、医療の場面のベンチマークを公開した。
- 2026年6月3日 OpenAI「Deprecations」で Evals の提供終了を告知:OpenAI は、評価の画面・API・採点役の提供を2026年11月30日に終えると告知し、移行先に Promptfoo を挙げた。
- 2026年11月13日 Anthropic「Building strong safety evaluations」を公開:Anthropic は、AIの安全性の評価の作り方の勧めを公開し、採点役のLLMを人間の判定と比べて確かめてから使うよう求めた。
LLM-as-a-Judge に関する事例・研究
HealthBench は採点役の判定を医師の判定と比べた
OpenAI の研究者らは2025年5月、医療の場面でLLMの性能と安全性を測るベンチマーク HealthBench を公開した。HealthBench では、262人の医師が会話ごとに作った採点基準で、モデルと利用者や医療従事者との5,000件の会話への回答を評価する。採点基準は合わせて48,562項目ある。
採点では LLMの採点役が基準を1つずつ見て、回答がその基準を満たしたかを判定する。会話ごとの得点は、満たした基準の点の合計を満点で割った割合だ。基準には、望ましくない内容に減点する項目も含まれる。
著者らは主な採点役に GPT-4.1 を使い、医師の判定と比べた。比べるには、重要な34の基準について医師が「満たした」「満たさない」を判定した6万件を超える例を使った。採点の指示文と一部の基準の言い回しは、GPT-4.1 を採点役にして調整した。
比べた結果、緊急時の受診の勧めなど医療の場面を分けた7つのテーマのうち5つで、GPT-4.1 と医師の判定の一致の度合いが医師どうしの一致の度合いの平均を上回った。著者らが2025年4月の OpenAI のモデルを採点役にして比べると GPT-4.1 が最も高く、o4-mini と o3 はわずかに、GPT-4.1 mini と nano は大きく下回った。
正解のデータが多様で丁寧に作られ、採点役の検証がよく設計され、指示文と採点役のモデルを注意して選んだ場合に、モデルによる採点は専門家の採点と同じくらい信頼できるものになりうると著者らはまとめている。
Anthropic は安全性の評価で採点役に会話を採点させる
Anthropic は何往復も続く会話の安全性の評価で、リスクの分野ごとに専門家が作った評価ルーブリックに沿って、採点役のモデルに会話の記録を採点させている。会話の途中で1回でも不適切な応答があれば、会話全体を不合格にする。
LLM-as-a-Judge の言い方
| 表記 | 意味 | 使用主体 |
|---|---|---|
| LLM-as-a-judge | LLMに採点させる評価の方法 | Zheng 氏ら、AWS |
| LLM judge | 採点を受け持つLLM | Anthropic、Zheng 氏ら |
| grader | 採点役。Anthropic は LLM judge と同じ意味で使う | Anthropic |
| model grader | 評価するモデルとは別のモデルに採点させる採点役 | OpenAI |
| model-based grader | HealthBench の論文での採点役の呼び名 | OpenAI の Arora 氏ら |
| judge model | 採点役のモデル。日本語のドキュメントでは「判定モデル」 | |
| evaluator model | 採点役のモデル。評価される側は generator model と呼ぶ | AWS |
LLM-as-a-Judge の偏りと採点役の確かめ方
採点役は長い回答や最初に示された回答を好む
Anthropic によると、採点役は長い回答を好み、2つの回答を比べるときは最初に示された回答を好む。同社は点数が回答の長さと相関していないかを調べ、2つの回答の順を入れ替えて採点し直すよう勧めている。
また、採点役のモデルは自分の出力を見分けて好むことが示されているとして、Anthropic は評価されるモデルとは別のモデルを採点役に使うことも検討するよう勧めている。評価の設計の情報は採点役に見せず、会話だけを渡すことも求めている。
採点役の判定は人間の判定と比べてから使う
Anthropic は採点役を信頼する前に、採点役の判定を見せずに人間の評価者に一部の記録を判定させるよう勧めている。同社は採点役と人間の判定の一致の度合いについて、偶然の一致を差し引いた値で報告するよう求めている。採点役が専門家と一致する頻度は、専門家どうしが一致する頻度と同じくらいになるべきだという。
人間の評価者どうしは一致するのに採点役とは一致しないとき、Anthropic は評価ルーブリックを見直す合図だとしている。専門家どうしでも正しい答えが一致しないなら、採点役が採点できる正解はなく、測ろうとしているもの自体を考え直す必要があるという。
採点役が変わると点数も変わる
Anthropic によると、採点役は正しく動かなくなっても誤った点数を出し続け、誰も気づかないことがある。もとのモデルが変わると、採点役の判定が厳しくなったり甘くなったりすることもある。同社は別の採点役で付けた点数どうしを比べないよう求め、採点役の版や日付も報告するよう勧めている。
さらに、Anthropic は採点役そのものを試すよう勧めている。別の採点役のモデル、または言い回しを変えた評価ルーブリックで一部の記録を採点し直し、結論が変わるなら、点数はモデルの性能より採点役の性質を反映している可能性が高いという。
LLM-as-a-Judge の点数は、評価されるモデルの性能だけでなく、採点役のモデルや評価ルーブリックの言い回しによっても変わることがある。Anthropic は安全性の評価について、採点役の判定を人間の評価者の判定と比べて確かめてから使うよう勧め、点数は同じ採点役で付けたものどうしで比べるよう求めている。
LLM-as-a-Judge に関連する用語
- ハルシネーション:生成AIが事実と異なる内容や実在しない情報を、正しいかのようにもっともらしい文章で出力する現象のこと。
- レッドチーミング:AIシステムを悪用・攻撃する側の立場に立って弱点や対策の不備を探し、公開の前や運用の途中で直すための評価の方法のこと。
- Benchmaxxing(ベンチマキシング):AIのモデルを、全般の能力ではなく特定のベンチマークの点数に合わせて仕上げること。
LLM-as-a-Judge に関する出典
Anthropic「Building strong safety evaluations」(2026年11月13日)
Lianmin Zheng ほか「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」(2023年6月9日、arXiv)
AWS「Amazon Bedrock のモデル評価で LLM-as-a-judge を提供 (プレビュー)」(2024年12月1日)
AWS「Amazon Bedrock Model Evaluation LLM-as-a-judge is now generally available」(2025年3月20日)
AWS「別の LLM-as-a-judge を使用してモデルのパフォーマンスを評価する」(Amazon Bedrock ユーザーガイド)
Google Cloud「モデルベース評価の指標プロンプト テンプレート」(2026年11月11日更新)
OpenAI「Graders」
OpenAI「Deprecations」
Rahul K. Arora ほか「HealthBench: Evaluating Large Language Models Towards Improved Human Health」(2025年5月13日、arXiv)




