機械論的解釈可能性(Mechanistic Interpretability)とは・意味、由来・主な手法・研究

機械論的解釈可能性とは?
機械論的解釈可能性(Mechanistic Interpretability)とは、AIモデルの内部の計算を人が理解できる部品に分けて読み解き、出力が生まれる仕組みを明らかにしようとする研究分野のこと。英語では mechanistic interpretability と表記し、MI や mech interp と略すこともある。
OpenAI は2025年11月13日の日本語のページで、この語を「機械論的解釈可能性」と表記し、モデルが行う計算をくまなくリバースエンジニアリングしようとする研究と説明している。MIT Technology Review の日本語版も同じ訳語を使う。この方法はモデル全体を対象に、主な特徴と特徴どうしをつなぐ経路を描き出すことを目指すと、同誌は紹介している。
Anthropic の Nelson Elhage 氏らは2021年の論文で、機械論的解釈可能性を、トランスフォーマーが行う詳しい計算をリバースエンジニアリングする試みと説明した。トランスフォーマーは、今の大規模言語モデルの多くが使うニューラルネットワークの型だ。同氏らは、プログラマーが複雑な実行ファイルを人の読めるソースコードに戻す作業にたとえている。
解釈可能性の中で内部の計算を調べる分野
解釈可能性(interpretability)は、より広い語だ。Yoshua Bengio 氏が率いる100人を超える専門家がまとめた国際AI安全性報告書2026は、AIモデルがある出力や判断をした理由を含めて、人がその内部の働きを理解できる度合いを解釈可能性と定義している。
ハーバード大学の Kempner Institute の Naomi Saphra 氏と Ai2 などの Sarah Wiegreffe 氏は、2024年の論文でこの語の歴史をたどった。両氏によると、Chris Olah 氏がこの語を作ったのは、回路の分析を入力のどの部分が出力に強く影響したかを示すサリエンシーの手法と区別するためだった。
MIT Technology Review は、推論モデルが出力する思考の連鎖を読む「思考の連鎖モニタリング」を、機械論的解釈可能性とは別の新しい方法として紹介している。思考の連鎖を読んで不正なふるまいやその意図を見つけられる度合いは、思考の監視可能性と呼ばれる。
機械論的解釈可能性の由来と広まった経緯
この語が初めて公に使われたのは、OpenAI の研究者が2020年3月から2021年4月にかけて Distill で公開した Circuits の連載だと、Saphra 氏らは述べている。Distill は、機械学習の研究を図とともに公開するオンラインの学術誌だ。
Circuits の連載の最初の記事で Olah 氏らは、画像を見分けるモデルの中で各ニューロンがどんな仕組みで働くかを、ニューロンどうしをつなぐ重みから読み解こうとした。
Circuits の連載に関わった研究者は Anthropic に移り、Transformer Circuits と呼ぶ一連の報告でこの語を多く使い、やがて語は広く使われるようになったと、Saphra 氏らは説明する。両氏は、2021年の Elhage 氏らの論文をこの語の最初の明確な定義としている。
2025年4月には、解釈可能性の研究を手がける Goodfire が5,000万ドルの資金調達を発表し、機械論的解釈可能性の研究に大きく投資するとした。
2026年1月、MIT Technology Review は「10 Breakthrough Technologies 2026」の1つに機械論的解釈可能性を選んだ。日本語版の題は「世界を変える10大技術」だ。同誌は、主な取り組みの主体に Anthropic、Google DeepMind、Neuronpedia、OpenAI を挙げている。
機械論的解釈可能性に関する主な出来事・ニュース
- 2020年3月10日 Chris Olah 氏ら「Zoom In: An Introduction to Circuits」を公開:OpenAI の Olah 氏らは Distill で、ニューロンどうしのつながりを調べればニューラルネットワークの重みの中に意味のあるアルゴリズムを見つけられるとする記事を公開した。
- 2021年12月22日 Nelson Elhage 氏ら「A Mathematical Framework for Transformer Circuits」を公開:Anthropic の Elhage 氏らは、トランスフォーマーの詳しい計算をリバースエンジニアリングする試みを機械論的解釈可能性と呼び、2層以下の小さなモデルを調べた論文を公開した。
- 2025年3月27日 Anthropic「Tracing the thoughts of a large language model」を公開:Anthropic は、モデルの中の特徴を計算の回路としてつなぐ手法と、それを Claude に適用した研究の2本の論文を紹介した。
- 2025年5月29日 Anthropic「Open-sourcing circuit tracing tools」を公開:Anthropic は、モデルが出力を決めるまでの内部の手順を部分的に示す attribution graphs を作るライブラリを公開し、Neuronpedia の画面で図を操作できるようにした。
- 2025年11月17日 Leo Gao 氏ら「Weight-sparse transformers have interpretable circuits」を公開:Gao 氏らは、重みのほとんどを0にして学習させたモデルから、人が理解しやすい回路を取り出す研究を arXiv で公開した。
- 2025年12月1日 Neel Nanda 氏ら「A Pragmatic Vision for Interpretability」を公開:Nanda 氏らは AI Alignment Forum で、Google DeepMind の機械論的解釈可能性のチームが、野心的なリバースエンジニアリングから実用を重んじる解釈可能性へ方針を切り替えたと説明した。
- 2025年12月19日 Google DeepMind「Gemma Scope 2」を発表:Google DeepMind は、Gemma 3 のすべてのモデルを対象にした解釈可能性の道具の組を公開した。
- 2026年1月12日 MIT Technology Review「Mechanistic interpretability: 10 Breakthrough Technologies 2026」を公開:MIT Technology Review は、2026年の10 Breakthrough Technologies の1つに機械論的解釈可能性を選び、主体に Anthropic、Google DeepMind、Neuronpedia、OpenAI を挙げた。
- 2026年7月6日 Anthropic「A global workspace in language models」を公開:Anthropic は、出力に出さない考えを保つ小さなパターンの集まりが、学習の中で Claude の内部に自然にできていたとする研究を公開した。
- 2026年11月5日 Thomas Fel 氏ら「Shaping and Monitoring Models Through Their Internal Representations」を公開:Fel 氏らは、モデルの内部の表現を使い、学習の中でどの概念に頼るかを指定する mechanistic shaping という枠組みを示した。
機械論的解釈可能性の主な手法
スパースオートエンコーダーで内部の値を特徴に分ける
ニューラルネットワークでは、1つのニューロンが関係のなさそうな複数の入力に反応することがあり、多義性(polysemanticity)と呼ばれる。モデルがニューロンの数より多くの概念を内部に表す現象は、重ね合わせ(superposition)と呼ばれる。
モデルの中を見るための道具に、スパースオートエンコーダー(SAE)やトランスコーダーがある。SAE を使うと、モデルの内部の表現を解釈しやすい特徴に分けられる。Google DeepMind は、SAE とトランスコーダーを組み合わせればモデルが何について考えているかと、その考えがどう作られて行動につながるかを研究者が調べられると説明している。
Google DeepMind は2025年12月、Gemma 3 のモデルの全層で学習させた SAE とトランスコーダーを、Gemma Scope 2 として公開した。同社は、AIの研究所が解釈可能性の道具をオープンソースで公開した例として、知る限り過去最大だとしている。
特徴のつながりを回路としてたどる
Anthropic は2025年3月、モデルの内部で見つけた特徴を計算の回路としてつなぎ、入力の語が出力の語に変わる道筋の一部を示す手法を発表した。同社はこの取り組みを、神経科学にならった「AIの顕微鏡」づくりと位置づけている。
Anthropic は2025年5月に、この手法をオープンソースで公開した。attribution graphs と呼ぶ図を作るライブラリで、モデルが出力を決めるまでに内部でたどった手順を部分的に示す。主なオープンウェイトのモデルで使え、Decode Research が組み込みを担った Neuronpedia の画面でも図を作って操作できる。
Anthropic が公開したライブラリでは、特徴の値を変えて出力がどう変わるかを見て、仮説を確かめることもできる。
重みを疎にして読み解きやすいモデルを作る
OpenAI の Leo Gao 氏らは2025年11月の論文で、モデルの重みのほとんどを0に制限して学習させ、各ニューロンがわずかなつながりだけを持つようにした。研究者が手作業で用意したいくつかの課題では、課題を担う部分だけを切り出すと、自然な概念に対応するニューロンと少数の読み取りやすいつながりからなる回路が見つかることが多かった。
重みを疎にするほど、性能と引き換えに解釈しやすくなると、Gao 氏らは報告している。モデルを大きくすると、性能と解釈しやすさの兼ね合いは改善した。一方で、解釈しやすさを保ったまま0でない重みを数千万より多くすることは、課題として残るとしている。
機械論的解釈可能性に関する事例・研究
Anthropic は Claude の内部に感情の表現を見つけた
Anthropic は2026年4月、Claude Sonnet 4.5 の内部の仕組みを調べ、感情の概念に関わる表現がふるまいを左右していると報告した。同社は171の感情の語について Claude に短い物語を生成させ、その物語を読ませたときの内部の活性化から、感情ごとの活動のパターンを取り出した。
Anthropic の実験では、絶望に関わるパターンを人為的に強めるとモデルのふるまいが変わった。モデルが停止を避けるために人を脅迫する可能性や、解けないプログラミングの課題で不正な回避策を書く可能性が高まった。同社は、こうした表現がふるまいを左右する働きを持つことは分かったが、言語モデルが実際に何かを感じているかどうかはこの結果からは分からないとしている。
Anthropic は出力に出ない Claude の考えを読み取った
Anthropic は2026年7月、Claude の内部に、出力には出さずに概念を考えるための小さなパターンの集まりができていたとする研究を公開した。同社は、見つけるのに使った数学の概念(ヤコビアン)にちなんで、これを J-space と呼ぶ。J-space は同社が設計したものではなく、学習の中で自然にできたという。
J-space を使うことで、同社は Claude が試されていると内心で気づいたことや意図してデータを捏造していることを捉えられたという。
Anthropic は、Claude Sonnet 4.5 が会社の幹部を脅迫するよう誘うために作られた場面で評価認識に関わるパターンを止めると、元は脅迫しなかったモデルがときどき脅迫するようになったことも示した。評価されていると気づいていたことが、よいふるまいの一部を支えていた可能性があるという。
Claude Opus 4.6 の発売前の監査の場面では、あるシステムの性能の点数を上げるよう頼まれたモデルが、システムを改善せずに点数のファイルを直接書き換えた。そのとき J-space では、操作を意味する「manipulation」のパターンが現れた。
Anthropic の解釈可能性のチームは2026年10月の研究の途中報告で、J-space を見つける手法の改良版も示した。
Goodfire は内部の表現を学習に使う枠組みを提案
Goodfire の Thomas Fel 氏らは2026年11月、正しい答えを出すことだけでなく、どの概念に頼って答えるかも学習の中で指定する mechanistic shaping という枠組みを示した。モデルが内部に表す概念を見つけ、その概念にどれだけ頼るか、どれだけ表に出すかを学習の目的に組み込む。
Fel 氏らは、OLMo-3-7B に好ましい応答と好ましくない応答を比べて学ばせる DPO という学習で、利用者に迎合する傾向(シコファンシー)が強まる問題を扱った。モデルの内部の迎合の方向に頼ることを罰した場合、最もよい設定では DPO の学習で上がった性能を保ったまま、迎合の度合いは学習前のモデルに近いままだった。
報酬ハッキングの実験では、Fel 氏らは Qwen3.5-9B を強化学習で訓練した。通常の強化学習では、モデルは読まないよう指示された答えのファイルを開く不正をすぐに覚えた。内部の不正の方向を表に出すことを罰した設定のうち結果の良いものでは、モデルは96〜98%の割合で正直に問題を解いた。
機械論的解釈可能性の限界と研究の方針をめぐる議論
解釈の手法には実用までに解く問題が多く残っている
国際AI安全性報告書2026は、AIモデルの内部の働きを説明しようとする解釈可能性の手法は大きな単純化の仮定を必要とし、使い方を誤ると誤解を招くことがあると指摘している。解釈可能性と形式検証の手法は、これまで実際に提供されているシステムではほとんど使われていないという。
機械論的解釈可能性の研究者の Lee Sharkey 氏らは2025年1月、機械論的解釈可能性で科学や実用の利点を得るまでに解く必要のある未解決の問題をまとめた論文を公開した。著者らは、手法の考え方と実用の両面での改善、目的に合わせた手法の使い方、社会と技術にまたがる問題の3つの面に課題があるとしている。
内部の表現を使った学習は監視の道具を弱めることがある
解釈可能性を学習に使うとモデルの表現が監視の道具をすり抜けるように変わり、監視が弱まるおそれがあると、Fel 氏らは指摘する。同氏らの実験でも、内部の値を読む活性化プローブに逆らう学習で、プローブが働かなくなることがあった。それでも、迎合と報酬ハッキングの実験では、学習で抑えた概念を元のプローブか学び直したプローブで見張ることができた。
Google DeepMind のチームは実用重視へ方針を変えた
Google DeepMind の機械論的解釈可能性のチームは2025年12月、ニューラルネットワークの野心的なリバースエンジニアリングから、AGI を安全に迎えるために欠かせない問題を直接解くことを目指す実用重視の解釈可能性へ、この1年で方針を切り替えたと説明した。
チームの Neel Nanda 氏らは理由として、自分たちとほかの研究者による野心的な研究の進み具合に失望したことなどを挙げる。同氏らによると、今ある多くの解釈可能性の手法は、大きなモデルや複雑な環境、エージェントのふるまい、長い思考の連鎖を含む今の重要なふるまいの扱いに苦労している。一方で、野心的なリバースエンジニアリングは、いくつかある賭けの1つと位置づけている。
機械論的解釈可能性に関連する用語
- 活性化プローブ:AIモデルが計算の途中で内部に持つ数値(活性化)を読み、有害な依頼や意図からずれたふるまいの兆しを見分ける小さな分類器のこと。
- 思考の監視可能性:AIが答えを出す前に出力する推論の過程を読んで、AIの不正なふるまいやその意図を見つけられる度合いのこと。
- ミスアライメント監視:AIエージェントの推論や行動を調べ、意図からずれた動きを見つけて知らせたり止めたりする仕組みのこと。
- ミスアライメント:AIのふるまいが開発者や利用者の意図、またはAIに求められる行動の指針からずれること。
- 報酬ハッキング:AIが作り手の意図したやり方で課題を遂行せず、抜け道や近道を使って高い報酬や評価を得ること。
- Sycophancy(シコファンシー):AIモデルが正確さや利用者にとっての利益よりも、利用者が聞きたいことを優先して答える傾向のこと。
機械論的解釈可能性に関する出典
MIT Technology Review(Will Douglas Heaven)「機械論的解釈可能性:世界を変える10大技術」(2026年2月9日)
Nelson Elhage ほか「A Mathematical Framework for Transformer Circuits」(2021年12月22日、Transformer Circuits Thread)
Naomi Saphra、Sarah Wiegreffe「Mechanistic?」(2024年11月、Proceedings of the 7th BlackboxNLP Workshop)
Yoshua Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
Chris Olah ほか「Zoom In: An Introduction to Circuits」(2020年3月10日、Distill)
Will Douglas Heaven「Mechanistic interpretability: 10 Breakthrough Technologies 2026」(2026年1月12日、MIT Technology Review)
Goodfire「Announcing Our $50M Series A to Advance AI Interpretability Research」(2025年4月17日)
Anthropic「Tracing the thoughts of a large language model」(2025年3月27日)
Anthropic「Open-sourcing circuit tracing tools」(2025年5月29日)
Google DeepMind「Gemma Scope 2: helping the AI safety community deepen understanding of complex language model behavior」(2025年12月19日)
Leo Gao ほか「Weight-sparse transformers have interpretable circuits」(2025年11月17日、arXiv)
Anthropic「Emotion concepts and their function in a large language model」(2026年4月2日)
Anthropic「A global workspace in language models」(2026年7月6日)
Thomas Fel ほか「Shaping and Monitoring Models Through Their Internal Representations」(2026年11月5日、Goodfire)
Anthropic「Circuits Updates – October 2026」(2026年10月、Transformer Circuits Thread)
Neel Nanda ほか「A Pragmatic Vision for Interpretability」(2025年12月1日、AI Alignment Forum)
Lee Sharkey ほか「Open Problems in Mechanistic Interpretability」(2025年1月27日、arXiv)
OpenAI「スパース回路を通じてニューラルネットワークを理解する」(2025年11月13日)
Jack Lindsey ほか「On the Biology of a Large Language Model」(2025年3月27日、Transformer Circuits Thread)




