本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

テスト時計算(テストタイム・コンピュート/Test-time Compute)とは・意味、手法・由来・研究

テスト時計算とは?

テスト時計算(テストタイム・コンピュート/Test-time Compute)とは、学習を終えたAIモデルが質問や課題に答える段階で使う計算のこと。英語では「test-time compute」と表記し、読みは「テストタイム・コンピュート」。答える段階の処理を推論と呼ぶため、「inference-time compute」(推論時の計算)とも言う。

テスト時計算を増やす方法には、答えの前に長く考えさせる方法や、答えを何度も作って良いものを選ぶ方法がある。Anthropic は考える時間を延ばす機能について、別のモデルに切り替えるのではなく、同じモデルが答えにより多くの時間と労力をかけるものだと説明している。

日本語の表記は資料によって違う。OpenAI は2024年9月の o1 の発表の日本語版で、思考時間を「テスト時計算」、強化学習を「トレーニング時計算」と表記した。

Sakana AI は、1つの難しい問題により多くの計算をつぎ込めば性能を上げられるという発見を「推論時スケーリング」と呼び、英語の Inference-Time Scaling と Test-Time Scaling を添えている。

テスト時計算を増やす主な手法

英国政府の研究組織 AI Security Institute(AISI)は2026年7月の記事で、計算の使い道を作業の種類と配分の仕方で分けた。トークン(AIが処理する文字のまとまり)は、作業の手順を進めることにも、推論や計画、答えの確かめにも使える。

同じ計算を1本の長い試行に使えば、エージェントは探りながら誤りを直すことができる。短い試行をいくつも並べれば、どれか1つが成功する見込みが上がる。

1回の答えの中で長く考える直列の方法

Anthropic は、Claude 3.7 Sonnet が考える時間を延ばす機能を使うときの計算を「serial test-time compute」と呼べるとした。最終的な答えを出す前に推論の段階をいくつも順に重ね、進むにつれて計算を足す方法だ。

OpenAI は o1 を、複雑な推論のために強化学習で訓練したモデルと説明した。o1 は答えを返す前に、内側で長い思考の連鎖を組み立てられるという。思考の連鎖は、問題を小さな段階に分けて順に考えを書き出す推論のやり方を指す。

複数の答えを作って選ぶ並列の方法

Anthropic は、独立した思考をいくつも作り、正解を前もって知らないまま最もよいものを選ぶ方法を「parallel test-time compute」と呼ぶ。選び方には、最も多く出た答えを採る多数決や、別の言語モデル(Claude をもう1つ動かすなど)に確かめさせる方法、学習した採点の仕組みに選ばせる方法がある。

Sakana AI は、同じ指示から何度も答えを作る方法を「幅方向の探索」、作った答えを繰り返し直す方法を深さの方向の探索と説明する。同社の手法 AB-MCTS は、新しい答えを作るか、今の答えを掘り下げるかを、そのつど選んで探索する。

Yixin Ji 氏らは総説で、熟考して答えるモデルが推論の段階の計算を使う方法として、答えを何度も作ること・自分の答えを直すこと・木の形に探ることを挙げている。

開発者が考える量を選べる設定

Anthropic の API(ほかのプログラムから機能を呼び出す窓口)では、effort というパラメーターで、Claude が答えるときに使うトークンの量を調整できる。段階は low、medium、high、xhigh、max で、xhigh と max を使えるモデルは限られる。

同社は、effort は厳密なトークンの上限ではなく、ふるまいの目安だとしている。考えに使うトークンの量を数で決める従来の設定(budget_tokens)は非推奨になり、Claude 4.7 以降のモデルでは使えない。

国内では SB Intuitions が、2026年10月に発表した思考モデル「Sarashina3.2 mini thinking」で、思考の深さを low、medium、high の3段階から選べるようにした。同社は、思考にかかる時間と精度の釣り合いを調整するための設定だと説明している。

テスト時計算の由来と注目されるようになった背景

推論の段階で計算を使って性能を上げる考え方は、答える前に長く考える今の推論モデルより前からあった。2025年1月に公開された総説の論文で、Yixin Ji 氏らは test-time compute の考え方をさかのぼった。直感的に答えるモデルでも、学習時と違うデータへの対応や頑健さの向上に、推論の段階の計算が使われていたと整理している。

2024年8月には、Charlie Snell 氏らが題に「Test-Time Compute」を含む論文を arXiv で公開し、推論時の計算の配分を論じた。同年9月に OpenAI は o1 を発表し、学習の計算と推論の計算を並べて示した。

Yoshua Bengio 氏らは、2025年10月の International AI Safety Report の最初の更新版で、能力の向上を主にもたらしたものを挙げた。同氏らは、その向上が単にモデルを大きくして学習させたことではなく、段階を追って推論するよう教える新しい学習の手法と推論時の改良によって主にもたらされたとしている。

2026年には、AIの評価の場でも語が使われた。AISI は3月と7月の記事で、評価のときに使わせる計算の量によって、測られるAIエージェントの能力が変わると報告した。

テスト時計算に関する主な出来事・ニュース

テスト時計算に関する研究

Claude 3.7 Sonnet は思考の予算に応じて正答率が上昇

Anthropic は2025年2月の記事で、Claude 3.7 Sonnet の成績を、考えるのに使ってよいトークンの量ごとに示した。2024年の米国の数学の試験 AIME の問題では、使ってよい思考のトークンの数に対して正答率が対数的に上がった。使ってよいトークンを同じ倍率で増やすたびに、正答率がほぼ同じ幅で上がる形だ。

同社は、Claude は予算を使い切る前に考えを止めることが多いとも書いている。こうした直列の計算は一般に、予測できる形で成績を上げるという。

同社の研究者は並列の方法も試した。独立した256の試行に相当する計算、学習した採点のモデル、最大でおよそ6万4,000トークンの思考の予算を使うと、生物・化学・物理の難問を集めた GPQA の正答率は84.8%になったと同社は報告している。この並列の方法は、そのとき提供を始めたモデルでは使えなかった。

GPT-6.1 Sol の移行評価では推論量で正解率に差

OpenAI は2026年10月、学習用のデータが少ないプログラミング言語 COBOL のプログラムを、別の言語へ書き換えさせる自社の評価の結果を公表した。推論量は、答える前にどれだけ考えさせるかの設定だ。

同社の評価で GPT-6.1 Sol の推論量を低くすると、正解率は86.6%だった。推論量を増やすと97.9%に達した。97.9%は、この評価の上限に迫る値だという。

Sakana AI は複数のモデルで試行錯誤する探索を開発

Sakana AI は2025年7月のブログで、推論時スケーリングの手法 AB-MCTS と、複数のモデルを組み合わせる開発中の拡張版を紹介した。拡張版の初期の実験では、図形の変換の規則を推論する難しいベンチマーク ARC-AGI-2 で、言語モデルの呼び出しの上限を250回として試した。

指標には、作った答えの中に1度でも正しいものがあったかを見る Pass@k を使った。

同社の実験では、o4-mini に同じ問いを繰り返し解かせると、23%の問題で正しい変換のプログラムができた。AB-MCTS では27.5%になり、o4-mini に Gemini-2.5-Pro と DeepSeek-R1-0528 を加えた版では30%を超えた。

ただし、組み合わせた版で決まった規則によって答えを2つに絞ると、正答の割合は19.2%だった。同社は30%との間に10ポイント以上の開きがあるとし、最終の答えを選ぶ方法の開発などでこの差を小さくすることを今後の課題の1つに挙げている。

英国AISIの評価では予算で能力の見え方が変わる

AISI は2026年3月、Irregular とともに、サイバーの課題で大きな予算を使わせる評価を行った。2025年11月までに出たモデルで調べると、新しいモデルは、この分野の一般的な評価の設定より10〜50倍大きいトークンの予算を生かせたという。AISI が調べた課題のおよそ8%は、予算を1,000万から5,000万トークンに上げたときにだけ解けた。

AISI の成功率は、1回の試行で使うトークンの数の対数にほぼ沿って上がった。難しい課題では、少し成績を上げるにも、指数的に大きな予算が必要なことになる。

2026年7月には、AISI がサイバー、ソフトウェア開発、数学などの課題で調べた結果を記事で公表した。公開のベンチマークでは、トークンの予算を100万から1,000万に増やすと、ソフトウェア開発の課題で約25%成績が上がった。数学や学術の課題では、500万トークンまでの範囲で約22%上がった。

AISI は、新しいモデルほど追加の計算から大きな伸びを得たとしている。ただし同組織は、ベンチマークによっておよそ1〜3割の課題では、新しいモデルが前のモデルより成績を落としたとも注記している。

サイバーとソフトウェア開発の課題では、解くのに必要な計算は、熟練した人がかかる時間に比例して増えた。そのため、予算を固定した評価では、長く難しい課題から先に打ち切られる。ただし AISI は、傾向からのばらつきが大きいことと、人がかかる時間が課題の難しさを完全には表さないことも断っている。

AIエージェントが決まった確率でやり遂げられる作業の長さを人の時間で表したタイムホライズンの推定も、予算によって変わる。

推論を長くすると正確さが落ちる課題を示した研究も

Aryo Pradipta Gema 氏らは2025年7月、推論モデルの推論を長くすると成績が落ちる評価の課題を作り、論文を arXiv で公開した。課題は、気をそらす情報を混ぜた数え上げ、見せかけの特徴を含む回帰、条件を追う推論、AIの高度なリスクの4種類だ。

著者らは、長く推論させたときの失敗の型を5つ挙げた。たとえば Claude のモデルは関係のない情報にそらされやすくなり、OpenAI の o シリーズのモデルは気をそらす情報には強いが問題の書き方に引きずられた。Claude Sonnet 4 では、自分を守ろうとする表現が増えた。

評価の結果は、テスト時計算を増やすことが能力を伸ばす方法として有望なままである一方で、問題のある推論の型を意図せず強めるおそれもあることを示唆していると著者らは述べている。

テスト時計算の限界と評価の数字の読み方

計算を増やすほど評価の費用がかさむ

AIを評価する組織にとって、テスト時計算は費用の問題になる。AISI の3月の記事では、5,000万トークンを上限にした1回の試行の費用は平均で約10ドル、最も高くても60ドル未満だった。費用がかさむのは、能力の上限を確かに推定するには、多くの課題を何度も繰り返して試す必要があるためだという。

AISI は2026年8月の記事で、最先端のモデルの評価には数億トークンを要するものもあると記した。同組織は、推定の精度が十分になった所で試行を止める道具 optstop を公開し、試験では予定の試行の57〜97%を省けたとしている。

トークンあたりの費用が下がれば、大きな予算はしだいに使いやすくなる。ある時点では高すぎることもある能力が、時とともに安く使えるようになる可能性があると AISI はみる。

計算を増やす効果は作業を確かめられる分野で大きい傾向

AISI によると、計算を増やしたときの伸びは、エージェントが自分の作業を確かめて誤りから立て直せる分野で大きくみえる。コード、サイバー、数学がその例だ。医療の評価 HealthBench では、どのモデルも通常の予算のうちに頭打ちになった。

AISI は3月の結果の限界として、サイバーの課題に基づくことを挙げた。同組織は、エージェントを動かす周りの仕組みとモデルの能力がそれぞれ結果にどれだけ寄与したかを、正確には測れないことなども挙げている。

表示される思考はモデルの判断をそのまま表すとは限らない

Anthropic は Claude 3.7 Sonnet の発表で、表示する思考の過程がモデルの中で起きていることを本当に表しているかは確かではないとした。同社は、これまでの結果から、モデルは思考の過程で明示しない要因に基づいて判断することがとても多いとみている。

AIが答えの前に出力する推論の過程を読み、不正なふるまいを見つけられる度合いは、思考の監視可能性と呼ばれる。

AISI は評価の数字に計算の予算を添えるよう求める

AISI は、計算の予算を抜きにしてエージェントの能力を読み取ることはできないとする。成績がまだ上がっている可能性があるときは特に、予算ごとの成績の曲線を示すべきだという。

評価のときのトークンの数、手番の上限、費用や時間の制約を明らかにすれば、読み手はモデルの能力が低いのか評価の条件が厳しすぎるのかを見分けやすくなると AISI はしている。

テスト時計算の英語での言い方

英語表記 意味 使用主体
test-time compute 推論の段階で使う計算 Snell 氏ら、AISI など
inference-time compute 推論時の計算 Snell 氏ら
test-time scaling 1つの難しい問題により多くの計算をつぎ込んで性能を上げること。日本語では推論時スケーリングとも書く Sakana AI
inference scaling 推論の予算を増やすにつれて成績が上がること AISI
serial test-time compute 最終的な答えの前に推論の段階を順に重ねて使う計算 Anthropic
parallel test-time compute 独立した思考を複数作り、最もよいものを選ぶ計算 Anthropic
inverse scaling in test-time compute 推論を長くすると正確さが落ちる関係 Gema 氏ら

テスト時計算に関連する用語

  • タイムホライズン:AIエージェントが決まった確率でやり遂げられる作業の長さを、専門家がかかる時間で表した指標。
  • 思考の監視可能性:AIが答えの前に出力する推論の過程を読み、不正なふるまいやその意図を見つけられる度合い。

テスト時計算に関する出典

Charlie Snell ほか「Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters」(2024年8月6日、arXiv)
Anthropic「Claude’s extended thinking」(2025年2月24日)
OpenAI「LLM で論理的思考を学ぶ」(2024年9月12日)
Sakana AI「「集合知」と「試行錯誤」によるフロンティアAIの推論時スケーリング」(2025年7月1日)
AI Security Institute「More compute, more capability: Why AI agent evaluations need to account for test-time compute」(2026年7月2日)
Anthropic「Effort」
Anthropic「Extended thinking」
SB Intuitions「国産LLM Sarashina3.2 mini thinking の紹介」(2026年10月29日、SB Intuitions TECH BLOG)
Yixin Ji ほか「A Survey of Test-Time Compute: From Intuitive Inference to Deliberate Reasoning」(2025年1月5日、6月29日改訂、arXiv)
Yoshua Bengio ほか「International AI Safety Report 2025: First Key Update: Capabilities and Risk Implications」(2025年10月15日、arXiv)
AI Security Institute「Evidence for inference scaling in AI cyber tasks: Increased evaluation budgets reveal higher success rates」(2026年3月5日)
OpenAI「学習リソースの少ないプログラミング言語におけるコーディング能力の向上」(2026年10月19日)
Aryo Pradipta Gema ほか「Inverse Scaling in Test-Time Compute」(2025年7月19日、12月15日改訂、arXiv)
AI Security Institute「Optimal stopping: spending evaluation compute where it counts」(2026年8月27日)

テスト時計算に関連する記事