Benchmaxxing(ベンチマキシング)とは・意味、由来・事例・研究

Benchmaxxing(ベンチマキシング)とは?
Benchmaxxing(ベンチマキシング)とは、AIのモデルを、全般の能力ではなく特定のベンチマークの点数に合わせて仕上げること。ベンチマークは、モデルの性能を同じ条件で比べるための共通の試験だ。
英語の辞書サイト Wiktionary は、動詞の「benchmaxx」を、benchmark に -maxx を付けた語として収録している。AIの分野のくだけた語で、さげすむ意味を持つ語という分類だ。活用形に benchmaxxing と benchmaxxed がある。
Open ASR Leaderboard の運営にかかわる Eric Bezzam 氏らは、Hugging Face のブログで benchmaxxing を説明した。リーダーボード(モデルの成績を並べた一覧)での成績が上がっても、実際の環境での頑健さが同じように伸びない、ベンチマークに特化した最適化を指すという。
研究でも語が使われている。Hume AI Research の Theo Lebryk 氏らは音声認識の論文で、俗に benchmaxxing と呼ばれる現象を定義した。文字起こしの力が広く伸びたからではなく、ベンチマークに特有の手がかりに頼って生じた、報告上の性能の伸びを指す。
同じ「-maxxing」の語に、用語集のトークンマキシングがある。こちらはAIのトークンをできるだけ多く使うこと自体を目標にする考え方を指し、ベンチマークの点数の話ではない。メタゲーミングは、モデル自身が採点や監視の仕組みまで推論することだ。
この記事で取り上げる資料のうち4つは、点数に合わせてモデルを仕上げる主体を、モデルを作る研究所や会社、開発者としている。
Benchmaxxingが起きる理由と語の由来
語の後半の「-maxx」は、Dictionary.com が2026年の「今年の言葉」に選んだ maxxing にも使われている。同社によると maxxing はある活動をとことん追い求めることなどを指す語で、looksmaxxing などの関連の語とともに、まず Reddit などの掲示板で生まれた。
バイブコーディングの語を作った Andrej Karpathy 氏は、2025年12月の振り返りの記事で benchmaxxing の語を使い、ベンチマークへの信頼を失ったと記した。
同氏は、ベンチマークがほぼ作りからして答えを機械で確かめられる環境だという点を、問題の核心に挙げた。そのため、ベンチマークは確かめられる報酬で学ばせる強化学習(RLVR)の標的にすぐなりやすく、合成データの生成を通じたその弱い形の学習の標的にもなりやすいという。
Karpathy 氏は典型的な benchmaxxing の過程として、大規模言語モデルの研究所のチームが、ベンチマークの占める狭い領域のすぐそばに避けがたく学習の環境を組み、そこを覆うように能力を突出させることを挙げた。同氏は、テストセットで学習させることが新しい芸術の形になったとも書いている。
言語モデルの事後学習を研究する Nathan Lambert 氏も2026年10月のニュースレターで、オープンなモデルと非公開のモデルの差を説明する中で、今の学習の伸びの多くは評価に近い分布を持つ強化学習の環境から来ているとみている。
公開のベンチマークの性質を理由に挙げる見方もある。標準化と公開は意味のあるベンチマークに欠かせないと、Bezzam 氏らは説明する。その一方で、標準化と公開はベンチマークを benchmaxxing にさらしやすくもするという。
Benchmaxxingに関する主な出来事・ニュース
- 2025年12月20日 Andrej Karpathy 氏「2025 LLM Year in Review」を公開:Karpathy 氏は2025年の大規模言語モデルの振り返りで、ベンチマークへの信頼を失ったと記し、典型的な benchmaxxing の過程を説明した。
- 2026年5月6日 Bezzam 氏ら「Adding Benchmaxxer Repellant to the Open ASR Leaderboard」を公開:Eric Bezzam 氏らは Hugging Face のブログで、音声認識のリーダーボードに Appen と DataoceanAI が提供した非公開のデータセットを加えると発表した。
- 2026年8月20日 Lebryk 氏ら「Towards Quantifying Benchmark Optimization in ASR Models」を公開:Theo Lebryk 氏らは、音声認識のモデルのベンチマークへの最適化を測る方法を示した論文を公開した。
- 2026年9月22日 Epoch AI「The plunging price of thought」を公開:Epoch AI は、AIの一定の性能にかかる費用の下がり方を分析した報告書で、benchmaxxing を分析の大きな注意点の1つに挙げた。
- 2026年10月12日 Meta「Muse Wonder」を発表:Meta は、新しいモデルの発表で「benchmaxxing」への不満に触れ、事後学習で狙わなかった課題での性能を示した。
- 2026年10月27日 Artificial Analysis「Intelligence Index v5」を発表:Artificial Analysis は、複数の評価を組み合わせた指標の新しい版で、指標の60%を非公開のテストセットか、答えを伏せた評価に基づくものにした。
Benchmaxxingに関する事例・研究
音声認識のリーダーボードは非公開のデータを加えた
Open ASR Leaderboard は、音声認識のモデルの成績を並べた Hugging Face の一覧だ。Bezzam 氏らは2026年5月、Appen と DataoceanAI が提供した英語の音声のデータを、非公開のまま評価に使うと発表した。benchmaxxing や、評価の問題が学習のデータに混ざる汚染のおそれを防ぐためだという。
データは朗読と会話の音声で、米国・英国・インド・オーストラリア・カナダの話し方を含む。
Bezzam 氏らは、非公開のデータは benchmaxxing に悪用されにくいとしている。悪用の例として挙げたのは、公開のテストセットを直接使う開発者と、特定のデータセットによく似た学習データを探して点数を上げようとする開発者だ。
データの区分ごとの点数は、あえて示していない。特定の提供元や話し方に合わせて、開発者が点数を上げられないようにするためだ。
2026年5月の発表の時点では、既定で示す単語の誤り率の平均を、公開のデータセットだけで計算していた。非公開のデータを含めるかどうかは、利用者が切り替えることができる。
音声認識の論文は最適化を測る方法を示した
Lebryk 氏らは2026年8月の論文で、音声だけでは正解の書き起こしが1つに決まらない場面を作って調べる方法を示した。たとえば、ベンチマークの正解の書き起こしに誤りがあるとする。音声に忠実なモデルなら、誤った正解の文を出す確率は低いはずだ。単語の音声を消した場合も、その単語を出す確率は低いはずだという。
Lebryk 氏らは、こうした場面でモデルが一貫して偶然を大きく超える割合でベンチマークの正解の文に合わせるなら、音声を忠実に聞く代わりにベンチマークの音の手がかりを近道に使っていることを示唆するとした。
Lebryk 氏らは新しいデータセットについて、必要だがそれだけでは足りないとも書いている。最適化を見つけて測る枠組みがなければ、新しいベンチマークも同じゆがみを受けるおそれがあるという。
Epoch AIは費用の分析の注意点にbenchmaxxingを挙げた
Epoch AI の Luke Emberson 氏と David Roodman 氏は、2026年9月の報告書で、一定の性能のAIにかかる費用の下がり方を分析した。両氏は分析の大きな注意点として、AIの会社が一部のベンチマークに向けてモデルを学習させている可能性を挙げた。その場合、ベンチマークでの伸びが実際の仕事での伸びを上回ることになる。
両氏は報告書で、benchmaxxing を、知られたベンチマークでよい成績を出すようにAIのモデルを意図して学習させることと説明している。主なベンチマークの1つの Mystery Game Puzzles は、題材のゲームを秘密にすることで benchmaxxing を和らげるように作られている。
Metaは事後学習で狙わなかった課題の成績を示した
Meta は2026年10月12日、Muse Wonder の発表で、ベンチマークの点数が近い2つのモデルでも、一方がずっと幅広い見慣れない課題を扱えるように見えることがよくあると記した。同社は、benchmaxxing への不満も「big model smell」という褒め言葉も、少数の分野で広く使われるベンチマークでは捉えきれない能力の幅を指しているとした。
事後学習は、事前の学習を終えたモデルを目的に合わせてさらに学習させる段階だ。Meta はこのずれを数で示すため、事後学習で重点を置いた課題の点数と、狙わなかった課題の平均点の関係を、推論の量を変えて比べた。
Meta によると、狙った課題での成績が同じ水準なら、Muse Wonder Full は狙わなかった課題で Muse Spark 1.3 の傾向から予想されるより高い成績だった。同社はその理由を、土台のモデルがより大きく強いためと説明している。
Artificial Analysisは指標の60%を非公開の評価にした
Artificial Analysis は2026年10月27日、複数の評価を組み合わせた指標 Intelligence Index の v5 を発表した。v5 では、指標の60%が非公開のテストセットか、答えを伏せた評価に基づく。指標の過半が非公開のデータセットで組まれるのは初めてだという。
組み入れた評価の1つの FrontierCode 2.0 は、汚染を避けるため課題を非公開にしている。オープンウェイトのモデルの首位と全体の首位の差は、前の版 v4.3 の3点から、v5 では12点に広がった。発表の時点でオープンウェイトのモデルの首位だった Kimi K3.1 Pro は、まだ重みを公開していなかった。
Lambert 氏は翌日のニュースレターで、この非公開化に触れた。同氏は、非公開化をオープンなモデルの研究所の benchmaxxing の兆しとみる見方について、自身の見立てと合うとした。同氏の見立てでは、最良のオープンなモデルも少しは benchmax しており、最も出来の悪いオープンなモデルは大いに benchmax している。
Benchmaxxingを避ける評価の注意点
非公開の評価にも、benchmaxxing の余地が残りうる。Bezzam 氏らは、データの提供元のデータで学習したモデルが有利になる可能性を認めている。同じデータでなくても、似た分布のデータが評価の成績を助けうるためだ。
Lambert 氏も、評価の形が分かっていれば学習データを作りやすいが、隠されていても不可能ではないとしている。
非公開化には別の面もある。Lambert 氏は非公開のベンチマークへの移行を方向としては妥当とみる一方で、全員が賛成する変更ではないと記した。同氏はその例として、評価を作る側を全面的に信頼するしかなくなり、ベンチマークの欠陥を多くの人が見つけて直す機会が失われることを挙げた。
Benchmaxxingに関連する用語
- トークンマキシング:AIのトークンをできるだけ多く使うこと自体を目標にする考え方や、社員にそれを促す会社のやり方のこと。
- メタゲーミング:AIのモデルが与えられた課題の中身だけでなく、その課題がどう採点され、どう報酬を与えられ、どう監視されるかまで推論すること。
- 報酬ハッキング:AIが作り手の意図したやり方で課題を遂行せず、抜け道や近道を使って高い報酬や評価を得ること。
- ジャギッド・フロンティア:AIが得意な作業と苦手な作業の境目がでこぼこに入り組んでいて、見た目の難しさからは見分けにくいという考え方のこと。
Benchmaxxingに関する出典
Wiktionary「benchmaxx」
Eric Bezzam ほか「Adding Benchmaxxer Repellant to the Open ASR Leaderboard」(2026年5月6日、Hugging Face のブログ)
Theo Lebryk ほか「Towards Quantifying Benchmark Optimization in ASR Models」(2026年8月20日、arXiv)
Andrej Karpathy「2025 LLM Year in Review」(2025年12月20日、karpathy.bearblog.dev)
Luke Emberson、David Roodman「The plunging price of thought」(2026年9月22日、Epoch AI)
Dictionary.com「Dictionary.com’s 2026 Word of the Year Is…」(2026年10月25日)
Nathan Lambert「Artificial Analysis v5 and the benchmarker’s dilemma」(2026年10月28日、Interconnects)
Meta「Muse Wonder: A Frontier Model For Personal & Professional AI Agents」(2026年10月12日)
Artificial Analysis「Announcing Artificial Analysis Intelligence Index v5」(2026年10月27日)




