米国立標準技術研究所、超知能のインシデント管理を議論したワークショップの報告書を公表。インシデント対応指針の改訂を計画
米国立標準技術研究所（NIST）は11月2日、超知能（SI）のインシデント管理をテーマに5月14日に開いたワークショップの報告書「NIST IR 8621」を公表した。政府や業界、学術界などから400人超が、会場とオンラインで参加した。
ワークショップは、連邦政府の「AI行動計画」がNISTに対し、SIやサイバーセキュリティの関係者と協力してインシデント管理の基準や対応策などをつくるよう指示したことを受けて開いた。
報告書の注記によると、NISTは9月29日の大統領令14434の指示に従い、発信する文書に「超知能」の語を取り入れているところだ。報告書は結論で、組織はすでに、侵害されたり意図しない行動をとったりしうるSIシステムの訓練や評価、導入を進めているとした。
報告書はSIのインシデントを、重なり合う2つの区分で扱った。1つはSIシステムの機密性や完全性、可用性を脅かすサイバー攻撃で、モデルの窃取やデータポイズニング、プロンプトインジェクションなどを例に挙げる。もう1つはSIシステムの悪用や誤作動、重大な事故が被害につながる場合で、危険な出力や有害な自律行動などを含む。
議論では、確率的で自律的に動き、業務に深く組み込まれたSIシステムに、従来の決定論的なインシデント対応の流れを当てはめる限界が示された。参加者は、AIの推論の過程の記録や、サービスアカウントなど人以外が使うIDの管理、権限の範囲に応じた封じ込めなどが必要だと強調した。
講演では、CrowdStrikeのインシデント対応部門の責任者が、大規模言語モデルを導入した多くの現場でプロンプトや応答、エージェントの操作などを記録していないと指摘した。同氏は質疑で、プロンプトと応答の保存期間について30日を基準とし、費用や複雑さ、規制の面で許せばより長く残すよう勧めた。
AWSの顧客向けインシデント対応チームの責任者は、エージェントを止めると後続の状態が壊れることもあり、AIシステムでは封じ込めそのものが損害を生みうると述べた。
日本のAIセーフティ・インスティテュートは、検知や分析のための可観測性と封じ込めや復旧のための可制御性という2つの軸で、既存のインシデント対応を広げる手引きを紹介した。
オンラインのサイバーセキュリティの分科会では、把握されていないMCPサーバーや、IT部門の管理の外でバイブコーディングによって作られたアプリ、公開状態になったAPIキーなどのリスクが挙がった。会場の同じテーマの分科会も合わせた議論では、セキュリティの担当者が存在を知らないシステムには十分に対応できないため、組織で動くAIシステムを把握することがその後のすべての対応の前提として浮かび上がった。
NISTは今後の計画として、SIのインシデント管理について官民や学術界などの関係者が集まる場の設置と、サイバーセキュリティのインシデント対応の指針SP 800-61の改訂を挙げた。
NISTで超知能の標準を扱うセンターは10月16日、国家安全保障局などと共同で、5月のワークショップなどの成果を踏まえ、SIの訓練や評価の最中に起こりうるインシデントの管理について10の実践を公表している。
【関連サイト】NIST「Workshop on SI Incident Management: NIST Publishes IR 8621」
【関連サイト】NIST「NIST Workshop on SI Incident Management」
【関連サイト】NIST「NIST IR 8621 NIST Workshop on SI Incident Management」
