本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

活性化プローブ(Activation Probes)とは・意味、仕組み・事例・限界

活性化プローブとは?

活性化プローブ(Activation Probes)とは、AIモデルが計算の途中で内部に持つ数値(活性化)を読み、有害な依頼や意図からずれたふるまいの兆しを見分ける小さな分類器のこと。英語では activation probes と表記する。OpenAI は英語の発表でこの語を使い、同じ発表の日本語版では「活性化プローブ」と表記している。

Google DeepMind の János Kramár 氏らは、監視したいモデルの内部の状態を使って学習させた小さなモデルを activation probe と説明している。活性化は、監視されるモデルが答えを作る計算の中ですでに生まれている。そのため、増える計算はプローブを動かす分だけになる。

Kramár 氏らは、言語モデルの分類器が最前線のモデルの監視に役立ちうることを最近の研究が示したと記している。ただし、すべてのやり取りを別の言語モデルで見ると費用がきわめて大きくなりうるうえ、同じくらいの性能のモデルを使えば費用が倍になる可能性もある。

活性化プローブの仕組み

活性化プローブは途中の層の値から有害かを判定する

Kramár 氏らの論文では、モデルに入力を通したときの途中の層の値を集め、その値で入力を分類するロジスティック回帰(確率を出す簡単な統計の手法)や小さなニューラルネットワークを学習させる。新しい入力では同じ計算の中でプローブを動かし、点数が決めた基準を超えたら悪用への対策を動かせる。

Anthropic は、Claude が怪しい依頼を処理すると、答えを組み立てる前から「有害そうだ」に近い内容を示すパターンが内部の活性化に現れると説明する。こうした内部の状態は通常は使ったあと捨てられる途中の計算で、同社はそれを読むことで、ほとんど追加の費用なしに情報を得ている。

安いプローブで先にふるい分ける二段の監視

Anthropic は自社の仕組みで、Google DeepMind の研究者らは試験で、活性化プローブをより重い分類器の前に置いた。Anthropic の仕組みでは、線形のプローブがすべての通信をふるい分け、疑わしいやり取りだけを二段目に引き継ぐ。二段目では、プローブと外部の分類器を組み合わせて最後の判断をする。

Google DeepMind の研究者らは、プローブで判断に迷う入力だけを言語モデルの分類器に委ねる組み合わせを試した。言語モデルを使うのが全体の10%未満でも、言語モデルだけで判定するより見逃しの率が低くなった。

活性化プローブの由来と広まった経緯

「プローブ」という呼び方は、AIの安全対策より前に、モデルの中を調べる研究で使われていた。2016年に Guillaume Alain 氏と Yoshua Bengio 氏は、モデルの各層の特徴を調べる線形の分類器を「probes」と呼ぶ論文を公開した。両氏は、画像認識のモデルの中間の層の役割を理解する方法としてこれを示した。

2025年2月には、AIのスキーミングを研究する Apollo Research の研究者らが、モデルの活性化を見て欺瞞を見分けられるかを試した論文を公開した。

2026年1月には、Anthropic が Claude のジェイルブレイク(安全の制限をくぐり抜けさせる手口)の対策で、プローブを一段目に置いた仕組みを1か月動かした結果を公表した。同じ月に Google DeepMind の研究者らは、Gemini の悪用対策のプローブの導入につながった研究を公開した。

2026年10月には OpenAI が、ミスアライメント監視の最初の層に使う軽い分類器を「activation probes」と呼んだ。

活性化プローブに関する主な出来事・ニュース

活性化プローブに関する事例・研究

OpenAI はミスアライメント監視の第0層に活性化プローブを置く

OpenAI は2026年10月29日の発表で、社内の監視を4つの層に分け、最初の第0層に活性化プローブを置いていると説明した。プローブはモデル内部の活性化を調べて気になるパターンを探し、見つけた件を次の層の確認へ引き継ぐ。

同社は見逃しを減らすため、プローブを再現率(気になる件を検出できる割合)重視で調整し、誤検知がある程度出ることを受け入れている。最前線のモデルの強化学習の実行と社内の Codex の通信は、扱いに慎重さが必要なため、この層を通さず次の層へ直接送る。

Anthropic は Claude のジェイルブレイク対策の一段目に使う

Anthropic の Constitutional Classifiers は、許すことと許さないことを書いた決まり(constitution)から作ったデータで学習させた分類器だ。入力と出力を見張り、有害なおそれのある中身を見つけて止める。同社によると、2025年の初代の分類器は計算の費用を23.7%増やした。

同社が2026年1月に発表した次の世代の仕組みでは、線形のプローブがすべての通信をふるい分ける。この仕組みを Claude Sonnet 4.5 の通信で1か月動かした結果では、害のない質問を断る率は0.05%で、初代の仕組みより87%下がった。同社は、Claude Opus 4.0 の通信に当てた場合の追加の計算を約1%としている。

Hoagy Cunningham 氏らは Constitutional Classifiers++ を説明した論文で、比べる基準にした分類器(会話の入力と出力を合わせて見る分類器)より計算の費用を40分の1に減らしたと報告した。

Anthropic は、攻撃者が Claude の最終的な出力をだます入力を作れても内部の表現を操るのはずっと難しいとして、プローブをごまかしにくい仕組みと位置づける。同社の試験では、プローブと外部の分類器が互いに相手の見えないものを見ているようだった。

Google DeepMind は Gemini のサイバー悪用の検出に導入

Google DeepMind の研究者らは、Gemini 2.5 Flash に入力されるサイバー攻撃の目的の依頼を、プローブで見分ける研究を報告した。短い入力で学習させたプローブは長い入力にうまく対応できず、研究者らは長い入力への変化に対応する新しい形のプローブを作った。

論文の最もよいプローブは、Gemini 2.5 Flash と Pro を使った分類器と同程度の性能を、わずかな費用で出した。著者らは、この研究の成果が Google DeepMind によるサイバー攻撃の悪用対策のプローブの導入に生かされたと記している。導入先は利用者向けの Gemini だ。

Apollo Research は欺瞞の検出に線形のプローブを試した

Apollo Research の研究者らは、Llama-3.3-70B-Instruct がインサイダー取引を隠すといった欺瞞のふるまいをする場面で、線形のプローブを試した。評価に使ったデータでは、正直な答えと欺瞞の答えを見分ける指標(AUROC)が0.96〜0.999だった。

欺瞞と関係のない会話で誤検知の率が1%になるように基準を決めると、プローブは欺瞞の答えの95〜99%を捉えた。著者らは、こうしたプローブを将来の監視の仕組みに有望とみる一方、今の性能は欺瞞への確かな防御としては足りないとしている。

活性化プローブの限界

学習時と違う入力では精度が落ちることがある

Kramár 氏らの研究では、プローブは費用の面で優れる一方、学習時と違う種類の入力に弱かった。短い入力で学習させたプローブは、実際の提供で大事になる長い入力にうまく対応できなかった。長い入力で直接学習させれば同程度の結果は得られるが、学習の費用が10倍以上に増える。

ジェイルブレイクや何往復もの会話のような入力の変化は、この研究では十分には扱えていない。Apollo Research の研究者らも、自分たちのプローブには見かけの相関に引っ張られる誤りや、誤って分類した答えがあると記している。

防御に合わせて手口を変える攻撃への強さは未解決

Kramár 氏らは、自分たちの方法では、防御に合わせて手口を変える攻撃の成功率を大きくは下げられないとしている。Anthropic も2026年1月の発表で、市場にあるAIの仕組みで完全に頑丈な防御を持つものはないと記している。

未知の形のミスアライメントの検出は評価の途中

OpenAI は2026年10月の発表の時点で、未知の形のミスアライメントをプローブがどこまで捉えられるかを、まだ評価していた。そのため同社は、プローブが指摘しなかった通信からも無作為に5%を選んで次の層に送り、プローブの見落としたおそれのあるふるまいを探していると説明した。

活性化プローブに関連する用語

活性化プローブに関する出典

OpenAI「How we detect frontier model misalignment」(2026年10月29日)
OpenAI「フロンティアモデルのミスアライメントを検知する仕組み」(2026年10月29日)
János Kramár ほか「Building Production-Ready Probes For Gemini」(2026年1月16日、2月10日改訂、arXiv)
Anthropic「Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks」(2026年1月9日)
Hoagy Cunningham ほか「Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks」(2026年1月8日、arXiv)
Nicholas Goldowsky-Dill ほか「Detecting Strategic Deception Using Linear Probes」(2025年2月5日、arXiv)
Guillaume Alain、Yoshua Bengio「Understanding intermediate layers using linear classifier probes」(2016年10月5日、arXiv)
Alex McKenzie ほか「Detecting High-Stakes Interactions with Activation Probes」(2025年6月12日、arXiv)