本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

説明可能なAI(XAI/Explainable AI)とは・意味、主な手法・由来・主なサービス

説明可能なAIとは?

説明可能なAI(XAI/Explainable AI)とは、AIが出した予測や判断について、使う人や結果の影響を受ける人がその理由や根拠を理解できるように示すための技術や考え方のこと。英語では explainable AI と記し、XAI と略す。

XAI の略称は、日本の試験の資料でも使われている。情報処理推進機構(IPA)が2026年9月30日に掲載した基本情報技術者試験のシラバス案は、AI倫理・AIガバナンスの用語例に「説明可能なAI(XAI:Explainable AI)」を挙げる。

また、プロフェッショナルデジタルスキル試験(仮称)の共通知識のシラバス案(2026年9月30日掲載)は、大局説明、局所説明、LIME、SHAP も用語例に並べている。IPA は、これらの試験を含む新しい試験制度を2027年度から始める予定だ。

総務省と経済産業省のAI事業者ガイドライン(第1.2版)は、AIの開発者・提供者・利用者が共通して取り組む指針の1つ「透明性」の中に、「関連するステークホルダーへの説明可能性・解釈可能性の向上」を置いている。ガイドラインは、その目的を関係者の納得感と安心感を得ることや、そのためにAIの動作の証拠を示すことなどとしている。

透明性・説明可能性・解釈可能性の違い

米国の国立標準技術研究所(NIST)は、2023年1月に公開したAIのリスク管理の枠組み(AI RMF 1.0)で、信頼できるAIの特性の1つに「説明可能で解釈可能」を挙げた。説明可能性はAIシステムが動く仕組みを表したものを指し、解釈可能性はシステムの出力が設計された目的から見て何を意味するかを指すと、NIST は説明している。

透明性・説明可能性・解釈可能性を、NIST は互いに支え合う別々の特性としている。透明性は「何が起きたか」、説明可能性は判断が「どのように」行われたか、解釈可能性は「なぜ」その判断をしたのかと利用者にとっての意味に答えられるという。AI事業者ガイドラインも、脚注でこの分け方を紹介している。

機械論的解釈可能性との違い

機械論的解釈可能性は、AIモデルの内部の計算を部品に分けて読み解く研究分野を指す。OpenAI は、機械論的解釈可能性のねらいを、モデルが行う計算をすべてリバースエンジニアリングすることだと説明している。

Naomi Saphra 氏と Sarah Wiegreffe 氏の2024年の論文によると、機械論的解釈可能性の語を作ったのは Chris Olah 氏だ。Olah 氏はこの語で、回路の分析を入力の特徴の重要度を示すサリエンシーの手法と区別しようとした。

AI事業者ガイドラインの別添が説明可能性・解釈可能性を高める手法に挙げる SHAP は、入力の特徴ごとに予測への寄与を示す。SHAP は入力の特徴が予測に与えた寄与から説明し、機械論的解釈可能性はモデルの内部の計算から説明する。

説明可能なAIの主な手法

AI事業者ガイドライン(第1.2版)の別添は、AI開発者が説明可能性と解釈可能性を高めるために検討する手法として、次のようなものを挙げている。

  • できるだけ単純なモデルを使う。
  • 特定のデータに対するモデルのふるまいを説明する、局所的な説明の手法を使う。
  • SHAP の値で、各特徴が予測にどれだけ寄与したかを評価する。
  • 特徴の重要度や部分依存のグラフで、モデルが重んじる特徴を目に見える形にする。
  • モデルの中間の層の出力や勾配など、内部の構造と動作を解析する。
  • 解釈しやすさを考えてモデルの構造を選ぶ。

単純なモデルを選ぶ方法と別のモデルでまねる方法

別添は、ロジスティック回帰や決定木のような単純なモデルを、要件に合わせて可能であれば選ぶことを挙げている。

Microsoft の Azure Machine Learning の責任あるAIダッシュボードには、内部の動きが分からないモデルの予測をできるだけ正確にまねるように、解釈しやすいモデルを学習させる方法がある。Microsoft は、この代わりのモデルを解釈すれば、元のモデルについての結論を導けると説明している。

モデル全体の説明と個々の予測の説明

Microsoft は、モデル全体の動きを説明するものをグローバルな説明、個々のデータの予測を説明するものをローカルな説明と呼ぶ。同社はローンの審査を例に挙げている。グローバルな説明はモデル全体の動きにどの特徴が影響するかに答え、ローカルな説明はある顧客の申請がなぜ承認または却下されたかに答える。大局説明と局所説明は、IPA のシラバス案でも別々の用語例として挙げられている。

LIMEとSHAPで個々の予測を説明する

別添によると、LIME(Local Interpretable Model-agnostic Explanations)は、特定のデータに対するモデルのふるまいを説明する局所的な手法の代表例だ。SHAP(SHapley Additive exPlanations)は、ゲーム理論に基づいて、各特徴がモデルの予測に与えた寄与の大きさを評価する。

Microsoft の説明では、SHAP は協力ゲームで各プレーヤーの貢献を割り当てるシャープレイ値の考え方を使う。特徴のあらゆる組み合わせについて、各特徴がモデルの出力に平均でどれだけ貢献したかを計算する。

似た学習データの例を示す説明

Google Cloud のVertex Explainable AIには、特徴ベースの説明に加えて、例に基づく説明がある。例に基づく説明は、最近傍探索で入力に最も似た例を、通常は学習データから選んで返す。

例に基づく説明の使い道として Google が挙げるのは、モデルが推論を誤った理由をつかんでデータやモデルを改善することや、学習データからかけ離れた異常なデータを見つけることなどだ。

説明可能なAIの由来と広まった経緯

Michael van Lent 氏らは2004年の論文で、米陸軍の訓練用のゲーム Full Spectrum Command に組み込んだ機能を、Explainable AI(XAI)と呼んで説明した。この機能では、利用者はゲームの最後の振り返りの段階で、任務を再生する画面からAIが動かす部下の兵士を選び、再生しているその時点で兵士の小隊がどう動いているかを質問できる。

米国防高等研究計画局(DARPA)は2016年8月11日、XAI のプログラムへの提案を募る説明会を開いた。DARPA は、今のAIは判断や行動の理由を利用者に説明できず、そのためにAIの効果が限られているとした。そのうえでプログラムでは、予測の精度を高く保ちながら説明しやすいモデルを作る機械学習の手法を、さまざまに開発することを目指した。プログラムはすでに終わっている。

NIST は2021年9月、説明できるように作られた、または説明を求められるAIシステムが従うべき4つの原則を提案する報告書を公表した。AI事業者ガイドラインの別添も、他部門や外部に説明するときの参考として、この報告書の4原則を紹介している。

  • 説明(Explanation):システムは、出力や処理に伴う証拠や理由を示す。
  • 意味がある(Meaningful):システムは、説明を受け取ることを想定した人が理解できる説明を示す。
  • 説明の正確さ(Explanation Accuracy):説明は、出力を生んだ理由やシステムの処理を正しく反映する。
  • 知識の限界(Knowledge Limits):システムは、設計された条件のもとで、出力に十分な確信が持てるときにだけ動く。

すべての受け手に合う説明はなく、受け手によって必要な説明の種類が違うと、NIST は報告書で述べている。

説明可能なAIに関する主な出来事・ニュース

説明可能性を求める日本とEUの決まり

AI事業者ガイドラインは記録と文書化も求める

AI事業者ガイドライン(第1.2版)は、説明可能性・解釈可能性の向上について、説明する側がどんな説明を求められるかを分析・把握できるよう、説明を受ける側が必要な説明を伝えることを求める。AI提供者はAI開発者に、AI利用者はAI開発者とAI提供者に、どんな説明が必要かを伝える。

また、別添は、AI提供者が入出力などの説明可能性を確保するために、AIシステムの入出力などのログを記録・保存して解釈できる内容で文書化することを挙げている。文書化によって透明性が高まり、レビューも行えるようになって説明可能性を確保する助けになるという。

EUのAI法は説明を受ける権利を定める

EUのAI法の第13条は、高リスクのAIシステムを、利用する事業者が出力を解釈して適切に使えるだけの透明性を持つように設計・開発することを求めている。AI法の付属書IIIは、高リスクのAIシステムの用途として、教育・雇用・個人の信用力の評価などを挙げた一覧だ。付属書IIIに当たる高リスクのAIシステムでは、第13条を含む決まりは2027年12月2日から適用される。

AI法の第86条は、付属書IIIの高リスクのAIシステム(一部を除く)の出力に基づいて事業者が下した決定について、説明を受ける権利を定めている。権利を持つのは、法的な効果を生むか同じくらい大きな影響を与える決定を受け、その決定で健康・安全・基本的な権利に悪い影響を受けたと考える人だ。

影響を受けた人は、決定の手続きでAIシステムが果たした役割と決定の主な要素について、AIを利用した事業者から明確で意味のある説明を受けられる。EUや加盟国の法律に例外や制限がある場合と、ほかのEUの法律ですでに同じ権利がある場合は、この条は当てはまらない。

説明可能なAIの機能を備えた主なサービス

クラウドの機械学習のサービスには、モデルの予測の説明を作る機能がある。Google Cloud の Vertex Explainable AI は、特徴ごとに推論への影響を示す特徴アトリビューションに、サンプリングによるシャープレイ値、統合勾配、XRAI の3つの方法を用意している。特徴アトリビューションは、表形式・画像・テキストのモデルで使える。

Microsoft の責任あるAIダッシュボードは、InterpretML のパッケージに基づいて、モデル全体とデータごとの特徴の重要度を示す。

AWS の Amazon SageMaker Clarify は、SHAP を使って特徴ごとの寄与を求め、部分依存のグラフも作る。AWS のドキュメントでは、Clarify は新しい顧客には提供されていない。既存の顧客は引き続き使えるが、AWS は新しい機能を加える予定はないとしている。AWS は、代わりに SHAP のライブラリを直接使う方法などを案内している。

説明を読むときの注意と限界

生成AIが出力する根拠は従来の説明と分けて考える

AI事業者ガイドライン(第1.2版)の別添は、LLMなどに結果とその根拠を出力させることはできるものの、それはAIの内部の決定の論理を説明しているわけではないとしている。LLMは「結果と根拠のもっともらしい組み合わせ」を出しており、従来のAIの説明可能性とは別に検討する必要があるという。

Anthropic の研究者らは2025年4月、推論モデルの Claude 3.7 Sonnet と DeepSeek の R1 に、評価の問いの答えのヒントをそっと添えた実験の結果を紹介した。ヒントの種類を平均すると、どちらのモデルも、ヒントを使って答えたのに思考の連鎖でヒントに触れない場合のほうが多かった。

推論モデルが自らの推論について示す内容はいつも頼りにできるとは限らないことが研究で示されたと、Anthropic の研究者らは述べている。思考の連鎖でモデルのふるまいを監視するには、思考を正直に書く度合いを高める方法を見つける必要があるとも、研究者らは記している。

説明しやすさと性能の兼ね合い

DARPA は XAI のプログラムで、性能と説明しやすさの兼ね合いの中から開発者が設計を選べるように、さまざまな手法をそろえることを目指した。AI事業者ガイドラインの別添も、説明可能性・解釈可能性を高める手法を検討するときは、「開発とのトレードオフが生じる懸念」に注意するよう求めている。

説明の正確さと受け手に合わせた説明

NIST の4原則では、説明を出すことと、その説明が出力を生んだ理由を正しく反映していることが別々の原則になっている。NIST は AI RMF で、説明可能性が足りないことによるリスクは、利用者の役割や知識、技能などの違いに合わせてAIシステムの働きを説明することで管理できる場合があるとしている。

説明可能なAIに関連する用語

  • 機械論的解釈可能性:AIモデルの内部の計算を人が理解できる部品に分けて読み解き、出力が生まれる仕組みを明らかにしようとする研究分野のこと。
  • 推論モデル:問題を小さな段階に分けて考える途中の過程を最終の答えの前に作り、それを踏まえて答えるAIモデルのこと。
  • EU AI法:AIシステムや汎用AIモデルをEUの市場に出す事業者とEUで使う事業者に、AIがもたらすリスクの大きさに応じた決まりを課すEUの法律。

説明可能なAIに関する出典

DARPA「XAI: Explainable Artificial Intelligence」
P. Jonathon Phillips ほか「Four Principles of Explainable Artificial Intelligence」(2021年9月、NIST)
情報処理推進機構「基本情報技術者試験 シラバス(案)Ver.0.1」(2026年9月30日掲載)
情報処理推進機構「プロフェッショナルデジタルスキル試験(仮称)及び情報処理安全確保支援士試験 科目A-1(共通知識)シラバス(案)Ver.0.1」(2026年9月30日掲載)
情報処理推進機構「新試験制度のシラバス案について」(2026年6月30日公開、10月30日更新)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
NIST「AI Risk Management Framework」
NIST「AI Risks and Trustworthiness」(AI RMF 1.0 の3章)
OpenAI「スパース回路を通じてニューラルネットワークを理解する」(2025年11月13日)
Naomi Saphra、Sarah Wiegreffe「Mechanistic?」(2024年11月、Proceedings of the 7th BlackboxNLP Workshop)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
Microsoft「モデルの解釈可能性 – Azure Machine Learning」
Google Cloud「Vertex Explainable AI の概要」
Michael van Lent、William Fisher、Michael Mancuso「An Explainable Artificial Intelligence System for Small-unit Tactical Behavior」(2004年、IAAI 2004)
David Gunning「Explainable Artificial Intelligence (XAI)」(2016年8月11日、DARPA)
欧州委員会 AI Act Service Desk「Article 13: Transparency and provision of information to deployers」
欧州委員会 AI Act Service Desk「Article 113: Entry into force and application」
欧州委員会 AI Act Service Desk「Article 86: Right to explanation of individual decision-making」
AWS「モデルの説明可能性 – Amazon SageMaker AI」
AWS「可用性の変更を明確にする – Amazon SageMaker AI」
Anthropic「Reasoning models don’t always say what they think」(2025年4月3日)
P. Jonathon Phillips ほか「Four Principles of Explainable Artificial Intelligence」(2021年9月29日、NIST の論文のページ)
欧州議会・EU理事会「Regulation (EU) 2024/1689 (Artificial Intelligence Act)」(2024年7月12日、EU官報)