本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

ARC-AGI とは・意味、問題の形式・3つの版の違い・事例

ARC-AGI とは?

ARC-AGI とは、初めて見る課題でAIが規則を見つけ、新しい技能をどれだけ効率よく身につけられるかを測るベンチマーク(性能を比べるための共通の問題集)のこと。

正式な名前は「Abstraction and Reasoning Corpus for Artificial General Intelligence」だ。非営利の団体 ARC Prize Foundation(以下 ARC Prize)が運営し、人には易しくAIには難しい課題を集めている。Google は Gemini 3 の日本語の発表で、「ARC-AGI」と英語の表記のまま書いている。

ARC-AGI は、当時 Google のAIの研究者で、深層学習のライブラリ Keras の作者でもある François Chollet 氏が作った。同氏は2019年11月の論文「On the Measure of Intelligence」で、このベンチマークを「Abstraction and Reasoning Corpus(ARC)」の名前で示している。

ARC Prize は AGI(汎用人工知能)を、人と同じ効率で学べるシステムと定義する。ARC-AGI もこの考えに沿って、課題を解く技能そのものではなく、技能を身につける効率を測る。

多くのベンチマークは博士の水準の問題のように、専門の知識や長い訓練を要する課題で測ると、ARC Prize は説明する。ARC-AGI は逆に、人が苦もなく解けてAIには難しい課題を選び、今のAIに足りない力を浮かび上がらせることをねらう。

ARC-AGI の課題に使う知識は、生まれつき持っているか、幼いころにほとんど教わらずに身につく基礎の知識に限っている。英語のような言語や特定の文化の知識を使う課題を含めると、それを多く学んだAIや、その言語を知る人が有利になるためだ。

ARC-AGI の問題の形式と採点の方法

第1版の ARC-AGI-1 と第2版の ARC-AGI-2 は、同じ形式の問題を使っている。1つの課題は、入力と出力の格子の組でできている。格子は0〜9の整数を並べた長方形のマス目で、数字は色で表示される。大きさは最小が1×1、最大が30×30だ。

解く側には、規則を示す例の組(多くは3組)と、テストの入力の格子が渡される。解く側は例に共通する規則を見つけ、テストの入力に当てはめて出力の格子を作る。出力の格子の縦と横の大きさも、解く側が決める。

答えは、テストの入力1つにつき2回まで出せる。この回数は人にもAIにも同じで、すべてのマスが正解と一致したときだけ正解になる。2回まで認めるのは、2つの候補を出さないと見分けられないあいまいさを持つ課題があるためだと、ARC Prize は説明している。2回まで認めることには、問題の中の意図しないあいまいさや誤りに備える目的もあるという。

ARC-AGI-1・ARC-AGI-2 の1問の解き方と採点ARC Prize の公式リポジトリと発表をもとに作成
1
例の組を見る入力と出力の格子の組(多くは3組)が渡される格子は0〜9の整数のマス目で、数字は色で表示される
2
規則を見つける例の組に共通する変換の規則を考える課題ごとに規則が違う
3
出力の格子を作るテストの入力に規則を当てはめ、出力の格子の大きさと各マスの色を決める格子の大きさは1×1から30×30まで
4
答えを出すテストの入力1つにつき、答えは2回まで出せる回数は人にもAIにも同じ
5
採点するすべてのマスが正解と一致したときだけ正解とする
出典:ARC Prize「arcprize/ARC-AGI-2」(GitHub)
ARC Prize「ARC-AGI-2 + ARC Prize 2025 is Live!」(2025年3月24日)
ARC Prize「ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems」(2025年5月20日)
以上をもとに編集部作成

問題は、学習用、公開の評価用、準非公開(Semi-Private)の評価用、非公開の評価用に分かれる。準非公開の問題は、ARC Prize が企業のモデルを API を通じて試すときに使う。非公開の問題は外部に出しておらず、ARC Prize の大会の最終の順位に使う。

ARC Prize は、企業のモデルの点数を準非公開の問題で測り、認定した点数(Verified)として公式のリーダーボードに掲載している。1回の評価にかける費用の上限は1万ドルで、複数回の結果の平均は取らない。

ARC-AGI-2 からは、点数とあわせて1問あたりの費用も示されている。ARC Prize は、時間と計算をいくらでも使える総当たりの探索なら、いつかは ARC-AGI を解けると認める。そのうえで、それは本当の知能ではなく、効率よく答えを見つけることが知能だと説明している。

ARC-AGI の由来と広まった経緯

Chollet 氏は2019年の論文で、ボードゲームやビデオゲームのような特定の作業での技能を人とAIで比べるだけでは、知能を測ったことにならないと論じた。前提の知識や学習のデータをいくらでも与えれば、技能は好きな水準まで「買える」ためだという。同氏は知能を技能の獲得の効率として定義し直し、その考えに沿うベンチマークとして ARC を示した。

ARC-AGI の最初の大会は、2020年に Chollet 氏がデータ分析の競技を開くサイト Kaggle で開いた。2022年には Chollet 氏がスイスのAI研究の非営利団体 Lab42 と組んで、ARCathon という世界規模の大会を開いている。ARCathon は2023年にも開かれた。

2024年6月、Chollet 氏と Mike Knoop 氏は、賞金の総額が100万ドルを超える大会 ARC Prize を始めた。ARC-AGI を解き、その解き方をオープンソースで公開することを競う大会だ。Chollet 氏と Knoop 氏は、ともに ARC Prize Foundation の共同創業者で、理事を務める。

2024年12月、Chollet 氏は ARC Prize のブログで、OpenAI の o3 の試作の版(o3-preview)を試した結果を公表した。ARC-AGI-1 の準非公開の問題で、公開のリーダーボードが定める1万ドルの計算の上限の中で75.7%、計算を約172倍に増やした設定で87.5%だった。

o3-preview の結果は、GPT 系のモデルにはなかった新しい課題に適応する力を示す大きな前進だと、Chollet 氏はみた。ARC Prize が試した o3 は、OpenAI の説明では公開の学習用の問題の75%で学習していた。OpenAI は2025年4月、一般に提供した o3 はこの試作の版と同じではないと確認した。

ARC-AGI-1 は当時、AIが答える段階で推論する手法(テスト時計算)の登場をはっきり示した唯一のベンチマークだったと、ARC Prize はのちに述べている。同団体は、o3-preview を推論モデルの最初の例の1つと位置づけた。

2025年1月、ARC Prize は非営利の財団として活動を広げると発表し、Greg Kamradt 氏が代表に就いた。ARC Prize は2025年12月、この1年で OpenAI、xAI、Anthropic、Google DeepMind の主要4社すべてが、モデルの性能をまとめたモデルカードで ARC-AGI の点数を示したとした。

ARC-AGI に関する主な出来事・ニュース

ARC-AGI の3つの版の違い

ARC-AGI は、AIの進歩に合わせて版を改めてきた。第1版と第2版は格子の問題で、第3版は2019年の形式から初めて大きく変えた。

版 公開時期 形式 問題の構成 特徴
ARC-AGI-1 2019年 格子の入力と出力の例から規則を見つけ、テストの出力の格子を作る 学習用400問、公開の評価用400問、準非公開と非公開の評価用が各100問 深層学習に挑む課題として作られた。2024年の終わりまで、AIに攻略されなかった
ARC-AGI-2 2025年3月 ARC-AGI-1 と同じ形式 学習用1,000問、公開・準非公開・非公開の評価用が各120問 評価用の問題から、総当たりの探索で解かれやすい問題を外した。どの評価用の問題も、2人以上の参加者が2回以内に解いた
ARC-AGI-3 2026年3月 説明・規則・目標を示さないゲームの形の環境を、AIエージェントが操作しながら学ぶ 135の環境(2026年4月時点。うち公開のデモは25) 人の手で作った環境を使う。何回の操作で解いたかを人と比べて採点する

※2026年11月時点

ARC Prize は ARC-AGI-2 を作る中で、当時の最先端の推論システムが苦手とする課題を調べた。例として、記号に見た目以上の意味を読み取る課題、互いに影響する複数の規則を同時に当てはめる課題、文脈によって規則の当てはめ方を変える課題の3つの型を挙げている。

ARC-AGI-2 の人の試験には、一般の人が400人以上参加した。公開の時点で、推論をしない言語モデルの点数は0%、公開されていた推論システムは1桁台だった。

ARC-AGI-3 を解くには、探索や計画、記憶、目標を自分で見つける力などが必要だと、ARC Prize は説明している。

ARC Prize は2026年4月、一般の人458人が参加した ARC-AGI-3 の試験の結果を公表し、公開のデモの環境で人が解いた記録も公開した。どの環境も、少なくとも2人の参加者が解いている。

ARC-AGI-3 の点数は、各レベルを解くのに要した操作の数を、そのレベルを解いた参加者の操作の数の中央値と比べて付ける。AIの点数が100%なら、すべての環境のすべてのレベルを、人の中央値と同じかそれより少ない操作で解いたことになる。

ARC-AGI に関する事例・研究

Google など3社はモデルの発表で ARC-AGI の点数を示した

Google は2025年11月の Gemini 3 の日本語の発表で、Gemini 3 Deep Think が「ARC-AGI(コード実行あり)」で45.1%を達成したとした。英語の発表では、この値は ARC-AGI-2 で ARC Prize が認定した点数となっている。

Gemini 3.1 Pro の ARC-AGI-2 の点数は、2026年2月の Google の発表では認定の点数で77.1%だった。同社は、Gemini 3 Pro の2倍を超える推論の性能だとしている。

Anthropic は2026年2月、Claude Opus 4.6 のシステムカード(モデルの性能と安全性の評価をまとめた文書)で、ARC Prize が非公開の問題で測った結果を示した。Claude Opus 4.6 の点数は ARC-AGI-1 が94.00%、ARC-AGI-2 が69.17%で、どちらも思考に使うトークンを12万とし、推論の強さを High にした設定で測った値だ。

Opus 4.6 は ARC-AGI-1 の公開のデータで学習しており、ARC-AGI-2 に向けた特別な学習はしていないと、同社はシステムカードに記している。

OpenAI は2026年4月の GPT-5.5 の発表で、ARC-AGI-2 の認定の点数を85.0%とした。推論の強さを xhigh に設定し、研究用の環境で測った値だ。

ARC Prize 2025 の論文賞の1位は小さなモデルの TRM

ARC Prize 2025 には1,455のチームが参加し、1万5,154件の解き方を出した。Kaggle の大会での最高点は、ARC-AGI-2 の非公開の問題で24.03%だった。

ARC Prize は、2025年の AGI に向けた進歩の中心に「refinement loop」(改良の繰り返し)を挙げる。答えのプログラムを、手がかりをもとに少しずつ改良する繰り返しだ。

論文賞の1位は、Alexia Jolicoeur-Martineau 氏の Tiny Recursive Model(TRM)だった。TRM は、モデルの規模を表すパラメーターの数がおよそ700万の小さなネットワークで答えを繰り返し直し、ARC-AGI-1 で45%、ARC-AGI-2 で8%の正解率を出した。

ARC Prize は GPT-5.5 と Opus 4.7 の失敗を3つの型に分けた

ARC Prize は2026年5月、OpenAI の GPT-5.5 と Anthropic の Claude Opus 4.7 が ARC-AGI-3 に取り組んだ160の記録と推論の過程を分析した。準非公開の問題での点数は、GPT-5.5 が0.43%、Opus 4.7 が0.18%だった。

両モデルの記録によく見られた失敗の型として、ARC Prize は次の3つを挙げた。

  • ある操作で何が変わるかは分かっても、環境全体の規則として理解できない。
  • テトリスなど学習データにある既存のゲームに見立て、合わない操作を試して手数を無駄にする。
  • あるレベルを解いても仕組みを理解しておらず、次のレベルで行き詰まる。

ARC Prize の見込みでは、実務で使うエージェントも事前に説明のないウェブサイトや社内のツールを扱い、そうした場面での失敗も ARC-AGI-3 で見た失敗の型と同じ形になることが多い。

GPT-6 Astra は96%のレベルを人の中央値より少ない操作で解いた

ARC Prize は2026年9月、OpenAI の GPT-6 Astra の ARC-AGI-3 での結果を公表した。

提供元がモデル向けに用意した文脈の管理の機能を使える評価の仕組み(Provider Adapter harness)で推論の強さを最大にしたとき、Astra はレベルの96.0%を、人の基準(そのレベルを解いた参加者の操作の数の中央値)より少ない操作で解いた。1レベルあたりの操作の数は、人の基準より平均で51.7%少なかった。

ARC Prize は ARC-AGI-3 を公開する前、操作の効率は人とAIを分ける線として残ると考えていた。ARC-AGI-3 が測る操作の効率で、Astra は人に並び、上回ったという。

ARC-AGI の点数を読むときの注意

自己申告の点数は認定の点数と条件が違う

ARC Prize によると、開発元が自ら示す点数や第三者が示す点数は、使った問題の選び方やプロンプトの与え方などが違うことが多い。そのため、点数をそのまま比べることはできない。ARC Prize が認定の点数として認めるのは、公開していない問題で公式の手順により測った点数だけだ。

準非公開の問題は API を通じてモデルの提供元に送るため、時間がたつにつれて一部が外に漏れるおそれがある。ARC Prize は、提供元とデータを残さない契約を結び、ほぼ年に1度の間隔で新しい版を出してこれに備えるとしている。

o3 は計算を増やすと点数も1問の費用も上がった

2024年12月の o3 の試験では、計算を増やすと点数が上がり、1問あたりの費用も大きく増えた。準非公開の問題で75.7%だった設定は1問あたり26ドル、87.5%だった設定は1問あたり4,560ドルだった。この費用は、ARC Prize が2025年12月に o3-pro の料金で計算し直した値だ。

大会は計算とインターネットの接続を制限して点数を測る

ARC Prize 2025 では、ARC-AGI-2 の大賞は、Kaggle の大会で決められた計算の範囲の中で85%を超えた解き方に与えるとしていた。ARC Prize 2026 の大会の評価ではインターネットに接続できず、GPT や Claude など外部の API を呼び出す仕組みは使えない。賞を受けるには、解き方をオープンソースで公開する必要がある。

一方、企業のモデルの認定の点数は、この大会の制限の外で商用の API を通じて測っている。

ARC Prize 2026 では、ARC-AGI-2 の大賞を、最もよいオープンソースの解き方に必ず与えるとしている。同じ大会の ARC-AGI-2 の部門には、非公開の評価用の問題で最初に85%以上を出した解き方に与える賞が、大賞とは別にある。応募は2026年11月2日に締め切られ、結果は12月4日に発表される予定だ。

作者は ARC-AGI を AGI の判定ではなく研究の道具とみる

Chollet 氏は2024年12月、ARC-AGI に合格することは AGI に達したことと同じではないと記した。同氏は、ARC-AGI を AGI の合否を決める試験ではなく、AIの未解決の難しい問題に研究者の目を向けるための道具と位置づけている。o3 についても、とても易しい課題の一部を解けていないことから、まだ AGI ではないとみた。

AGI が来たと分かるのは、普通の人には易しくAIには難しい課題を作ることができなくなったときだと、Chollet 氏は記している。ARC Prize は2026年9月、高い点を記録した GPT-6 Astra を一般化に向けた意味のある進歩とみる一方で、AGI だとは主張しないとした。

非公開の問題でも過学習で点が上がっている可能性

AIのベンチマークについては、提供元が宣伝のためにモデルを点数に合わせて仕上げ、実際の使い方には通用しない高い点を出す動機がある、という批判がよくある。点数に合わせてモデルを仕上げることは、一般にベンチマキシングと呼ばれる。ARC-AGI-1 と ARC-AGI-2 は、公式の採点と検証に非公開の問題を使うことで、問題を丸暗記する形の過学習で点が上がりにくいように作られていた。

ARC Prize は2025年12月、ARC-AGI-1 と ARC-AGI-2 で一種の過学習が起きているとみていると記した。公開のデータで多く学んだモデルは、公開の学習用の問題と非公開の評価用の問題が似すぎていると点を上げることがあると、同団体は説明する。丸暗記を防ぐ作りのベンチマークでも起きうるという。こうした過学習が偶然か意図したものか、点をどの程度押し上げているかは分からないという。

過学習の根拠の1つとして、ARC Prize は Gemini 3 Deep Think の例を挙げた。評価の仕組みで ARC の課題であることも色の決まりもモデルに伝えていないのに、Gemini 3 Deep Think は推論の中で ARC の数字と色の正しい対応を使ったという。

ARC-AGI に関連する用語

  • AGI(汎用人工知能):特定の作業のために作られたAIと違い、人と同じように幅広い知的な作業を行えるAIを指す語のこと。
  • SWE-bench:GitHub に寄せられた不具合などの報告を題材に、AIがコードを書き換えて問題を解決できるかを測るベンチマークのこと。
  • Benchmaxxing(ベンチマキシング):AIのモデルを、全般の能力ではなく特定のベンチマークの点数に合わせて仕上げること。
  • 推論モデル:問題を小さな段階に分けて考える途中の過程を作り、それを踏まえて答えるAIモデルのこと。
  • テスト時計算:学習を終えたAIモデルが質問や課題に答える段階で使う計算のこと。

ARC-AGI に関する出典

ARC Prize「What is ARC-AGI?」
ARC Prize「ARC Prize Foundation」
Google「Gemini 3 による知性の新時代」(2025年11月19日)
ARC Prize「ARC-AGI-1」
François Chollet「On the Measure of Intelligence」(2019年11月5日、2019年11月25日改訂、arXiv)
ARC Prize「ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems」(2025年5月20日)
ARC Prize「arcprize/ARC-AGI-2」(GitHub)
ARC Prize「ARC-AGI-2 + ARC Prize 2025 is Live!」(2025年3月24日)
ARC Prize「ARC-AGI-2」
ARC Prize「Official Testing Policy」
ARC Prize「History of ARC Prize」
ARC Prize「Announcing ARC Prize」(2024年6月11日)
François Chollet「OpenAI o3 Breakthrough High Score on ARC-AGI-Pub」(2024年12月20日、2025年4月16日更新、ARC Prize)
ARC Prize「ARC Prize Foundation – a North Star for AGI」(2025年1月8日)
ARC Prize「ARC Prize 2025 Results & Analysis」(2025年12月5日)
ARC Prize「Announcing ARC-AGI-3」(2026年3月25日)
ARC Prize「Measuring Human Performance on ARC-AGI-3」(2026年4月14日)
Google「Gemini 3.1 Pro: Announcing our latest Gemini AI model」(2026年2月19日)
Anthropic「System Card: Claude Opus 4.6」(2026年2月)
OpenAI「Introducing GPT-5.5」(2026年4月23日)
ARC Prize「Analyzing GPT-5.5 & Opus 4.7 with ARC-AGI-3」(2026年5月1日)
ARC Prize「OpenAI’s GPT-6 Astra on ARC-AGI-3」(2026年9月3日)
ARC Prize「Announcing ARC Prize Verified」(2025年11月4日)
ARC Prize「ARC Prize 2026」
Google「A new era of intelligence with Gemini 3」(2025年11月18日)
ARC Prize「ARC Prize 2026 – ARC-AGI-2 Competition」