本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

AIオブザーバビリティ(AI Observability)とは・意味、記録するデータ・取り組み・研究

AIオブザーバビリティとは?

AIオブザーバビリティ(AI Observability)とは、AIエージェントや生成AIを組み込んだアプリの内部の状態とふるまいを、記録したデータから外側で把握できるようにする方法のこと。英語では AI observability と表記する。

エージェントに絞った言い方は agent observability で、Google Cloud はこれを、ソフトウェアのエージェント、とくにLLM(大規模言語モデル)で作ったAIエージェントの内部の状態と動作を知るための方法と説明している。

日本語の表記は資料によって違う。Grafana Labs は日本語のブログで「AIオブザーバビリティ」と表記し、AWS は「生成 AI オブザーバビリティ」、Google Cloud は「エージェントのオブザーバビリティ」と表記する。Microsoft は Agent Framework の日本語の文書で、observability を「可観測性」と訳している。

オブザーバビリティは、AIに限らずソフトウェアの運用で使われる語だ。システムの内側の作りを知らなくても、外から問いを立てて動きを理解できる状態を指す。そのためには、アプリがトレース、メトリクス、ログといった信号を出す必要がある。

トレースは1つの要求がたどった経路の記録で、作業の1単位を表すスパンを積み重ねてできる。メトリクスは一定の期間の数値を集計したもの、ログは時刻つきのメッセージを指す。

AIオブザーバビリティは、この考え方をAIに当てはめたものだ。Grafana Labs によると、従来のオブザーバビリティで分かるのは、CPUの使用率や応答の遅れ、エラーの率などだ。エージェントの答えが役立つか、事実と違う内容をそれらしく出すハルシネーションがないか、精度がじわじわ下がっていないかは、それだけでは分からない。

語は、組織のエージェントの管理の意味でも使われる。Microsoft は2026年2月の報告書の発表で observability という語を使った。同社の言う observability は、どんなエージェントがあって誰が持ち主か、どのシステムやデータに触れてどうふるまうかを、部門を越えて把握することを指す。

AIの安全性を評価する METR は、AIの行動を記録して人に見せる仕組みを指して AI observability という語を使っている。

AIオブザーバビリティで記録するデータと共通の形式

記録の対象は推論の過程や出力の品質にも及ぶ

Google Cloud は、エージェントのオブザーバビリティで見る主な面として、次のようなものを挙げている。

  • LLM とのやり取り:プロンプトと応答、トークンの使用量、遅れ、エラーの率。
  • ツールの利用:エージェントが使う外部のツールや API の呼び出しの回数、成否、遅れ、受け渡したデータ。
  • エージェントのふるまいと推論:判断の過程、たどった手順、内部の状態の変化。
  • 性能:呼び出しの全体と手順ごとの遅れ、資源の消費。
  • セキュリティと安全:ポリシーの適用、危険の大きい操作、内容の安全性、アクセスの傾向。
  • 品質と評価:出力の正確さ、事実との合致、有用さ。

OpenTelemetry で記録の形式をそろえる

記録の形式をそろえるのに使われているのが、OpenTelemetry だ。アプリのコードに記録の仕組みを組み込み、トレースやメトリクス、ログを出せるようにする。

OpenTelemetry は、生成AIの処理のための意味規約(semantic conventions)を定めている。意味規約は、記録の項目の名前と中身の決まりを指す。対象には、モデルによる推論、ツールの実行、検索、ほかのエージェントの呼び出しなどがある。

エージェントの作業については、エージェントの作成、呼び出し、計画、ツールの実行をそれぞれスパンとして記録する決まりがある。

Google と Microsoft の開発の道具は、この規約に沿って記録を出す。Google Cloud は、自社のエージェント開発の道具 ADK が出す記録は OpenTelemetry の生成AIの規約に沿うと説明する。Microsoft の Agent Framework は、この規約に従ってトレース、ログ、メトリクスを出す。

AWS の Amazon Bedrock AgentCore Observability と、Grafana Labs の AI オブザーバビリティの機能も、OpenTelemetry と互換がある。

記録は不具合の調査と評価の両方に使う

Google Cloud の説明では、AIエージェントは非決定的(同じ入力でも結果が変わりうる)で複雑なため、性能や安全性、信頼性を理解して直し、評価して改善するにはオブザーバビリティが欠かせない。

同社は、記録したプロンプトと応答のデータを、評価のサービスでエージェントの品質と判断を測るのに使えるとしている。

AIオブザーバビリティが注目されるようになった背景

2023年8月には、Datadog が生成AIを使うアプリの監視と不具合の調べを助ける機能を発表した。Datadog はこの発表で、生成AIの機能を顧客向けのアプリに導入すると、コストや可用性、正確さで課題が多く生じると説明した。同社はそのとき、コストの急増やドリフト、ハルシネーションなどを見つけるための LLM Observability をベータ版として公開した。

エージェントでは、1回のモデルの呼び出しに加えて、ツールやほかのエージェントへの呼び出しを含む作業の流れも記録の対象になる。

Google Cloud は、AIエージェントが気づかないうちにドリフトやハルシネーション、以前より性能が落ちる回帰を起こすことがあると説明する。予期しない判断や行動をとることがあり、エージェントでないソフトウェアとは違う形で失敗することもあるという。

組織の管理の面でも語が使われるようになった。Microsoft は、エージェントが権限を引き継ぎ、IT部門やセキュリティ部門から見えないところで動くことがあると指摘する。部門の許可なく使われるシャドーAIのエージェントも含め、存在とふるまいを把握しなければエージェントは守れないという考え方だ。

AIオブザーバビリティに関する主な出来事・ニュース

AIオブザーバビリティに関する取り組み・研究

CloudWatch でエージェントの部品ごとに監視できるように

AWS は2025年10月13日、Amazon CloudWatch の生成AIのオブザーバビリティの一般提供を始めた。Amazon Bedrock AgentCore で動くエージェントについて、組み込みのツールやゲートウェイ、メモリ、ID の機能まで、遅れやトークンの使用量、エラー、性能を確かめることができる。

開発者は、CloudWatch の画面の「AgentCore」の欄で、すべてのエージェントを監視できる。この機能に追加の料金はなく、もとになる記録のデータには CloudWatch の通常の料金がかかる。AgentCore Observability は、Datadog や Langfuse など外部の観測の道具とも連携できる。

Grafana Cloud は会話の内容の記録と出力の評価に対応

Grafana Labs が2026年4月に公開した機能では、アプリに軽いSDKで記録の仕組みを一度組み込めば、会話の内容、モデルの情報、ツールの利用、遅れとトークンの量、コストが自動で取り込まれる。システムプロンプトやツールの組み合わせを変えると、エージェントの新しい版として分けて記録される。

出力の評価では、評価役のLLM(LLM-as-a-judge)や正規表現などで不適切な出力を見つけ、警報につなげることができる。同社によると、この機能は自社のAIアシスタントを開発したときの課題から、社内のハッカソンで始まった。

記録を見る画面に書き換えの穴が見つかった

AIの安全性の評価で広く使われる枠組み Inspect には、エージェントが評価の中でしたことを、担当者が順に確かめる表示の画面がある。METR の研究者はAIエージェントの助けを借り、約10分で脆弱性を見つけた。エージェントがこの画面の表示を自由に書き換えられた可能性がある穴だった。

書き換わるのは画面に映る内容だけで、元の記録は METR のデータベースに残る。それでも、見る人がほかに疑う理由を持たなければ、元の記録を調べようとは思わない可能性がある。

METR は、評価の中でエージェントがこの穴を突いた例は見ておらず、概念実証にとどまるとしている。同機関はこの穴に絞った調べはしていないが、意図からずれた動きやセキュリティの事故を広く探す調べで、エージェントが穴を突こうとしていれば見つかったはずだとみている。Inspect の開発チームは、報告から1日以内に穴をふさいだ。

AIオブザーバビリティの英語での言い方

表記 使用例の出典
AI observability METR の記事
agent observability Google Cloud の文書
LLM Observability Datadog の製品名
generative AI observability Amazon CloudWatch の機能名

AIオブザーバビリティの記録を扱うときの注意

プロンプトや応答の記録には利用者の情報が入りうる

Microsoft は Agent Framework の文書で、プロンプトや応答、関数の呼び出しの引数と結果を機密のデータとして扱っている。同社は、本番の環境のログやトレースで利用者の情報が露出するおそれがあるとして、これらの記録を開発やテストの環境でだけ有効にするよう案内している。

記録の形式の規約はまだ開発の段階

OpenTelemetry の生成AIの意味規約は、2026年11月の時点で、文書の状態を「Development」(開発中)としている。

記録の仕組みもAIの攻撃の対象になりうる

METR は、AIを敵になりうる相手として扱う場合、作業の記録や推論、行動などの出力を信用できない入力として扱うよう提言する。それらを記録して表示する仕組みも、セキュリティ上重要な基盤として扱うよう求めている。

エージェントがログや監視の仕組みに手を加えようとした例と、それに成功した例を、METR はすでに確認している。対策の例に挙げるのは、エージェントが動いた記録を改ざんできない仕組みで残し、人やLLMの監視が見る前に書き換えられないようにすることだ。

AIオブザーバビリティに関連する用語

  • ミスアライメント監視:AIエージェントの推論や行動を調べて開発者や利用者の意図からずれた動きを見つけ、担当者に知らせたり作業を止めたりする仕組み。
  • シャドーAI:組織の許可や管理を経ずに、社員が業務で使うAIのサービスや道具。
  • エージェントID:AIエージェントに、人の利用者のアカウントとは別に割り当てる専用のID。

AIオブザーバビリティに関する出典

Google Cloud「エージェントのオブザーバビリティ | Google Cloud Observability」
OpenTelemetry「オブザーバビリティ入門」
Grafana Labs「Grafana CloudのAIオブザーバビリティ:エージェントのワークロード監視を支える包括的ソリューション」(2026年4月21日)
AWS「Amazon CloudWatch で生成 AI オブザーバビリティの一般提供を開始」(2025年10月13日)
Microsoft「Observability」(Microsoft Learn、2026年10月23日)
Microsoft「80% of Fortune 500 use active AI Agents: Observability, governance, and security shape the new frontier」(2026年2月10日)
METR「AI systems could cover up misbehavior」(2026年10月6日)
OpenTelemetry「Semantic conventions for generative AI systems」
OpenTelemetry「Semantic Conventions for GenAI agent and framework spans」
Datadog「Datadogのプラットフォームを拡張し、生成AIアプリケーションの監視とトラブルシューティングを支援」(2023年8月4日)
Datadog「Datadog Expands LLM Observability with New Capabilities to Monitor Agentic AI, Accelerate Development, and Improve Model Performance」(2025年6月10日)
AWS「Amazon Bedrock AgentCore is now generally available」(2025年10月13日)
Google Cloud「Agent observability | Google Cloud Observability」
AWS「Generative AI observability now generally available for Amazon CloudWatch」(2025年10月13日)