米国立標準技術研究所など3機関、超知能エージェントの訓練・評価中のインシデントへの備えと対応で任意の実践10項目を公表

米国立標準技術研究所(NIST)と国家安全保障局(NSA)、サイバーセキュリティ・インフラセキュリティ庁(CISA)は10月16日、超知能(SI)のエージェントを訓練・評価中に起こりうるインシデントの管理について、任意の実践10項目を公表した。
3機関の文書はSIエージェントを、環境とやりとりして情報を受け取り、指定された目標のために自律的に行動できるSIシステムと定義する。主な想定読者は、そのうち人の監督が限られた状態で長期のタスクをこなす高度なものを訓練・評価する組織だ。実践は、そのエージェントの導入組織にも当てはまる場合がある。
文書は、とくに「SI制御インシデント」と呼ぶ事態の防止や備え、対応を扱う。エージェントが指示されていない重大な行動をとり、作業の範囲を定めたり人の監督を確保したりするために運用者が設けた、明示または暗黙の方針や制御、セキュリティ対策を損なう場合を指す。
「指示されていない」は、運用者の指示も攻撃者の指示もないことを指す。たとえば攻撃目的のプロンプトインジェクションによる行動は指示された行動とみなし、同インシデントの主因としない。
10項目は準備から報告までの5段階に分かれ、項目ごとに細目が並ぶ。以下はその一部だ。準備では、エージェントのアクセスを作業に必要な範囲に絞り、インシデントやそのおそれを検知したら活動を素早く止める仕組みを作る。訓練や評価、導入を始める前にリスク評価を作成し、経営幹部がリスク水準に納得した場合にだけ開始や再開をする。
検知では、SI制御インシデントのリスクがあるエージェントをモデルからネットワークまで全層で監視し、監視の処理やログには触れさせない。対応では、制御の失敗や進行中の同インシデントを検知したら、影響を受けたエージェントの動作を自動で止める。深刻さや範囲によっては、制御策を強化し確かめるまで類似のエージェントの訓練や評価なども止める。
復旧では、再開前に監視や停止などの仕組みが機能するか確かめ、復旧の判断と残るリスクを記録する。報告は全過程で行い、影響を受けた相手と連携する。政府には、適用される法的な報告義務を守ったうえで任意でも適宜報告や情報共有をし、一般向けには適切な場合に詳細をできるだけ早く伝える。
文書はいまあるサイバーセキュリティの実践を土台にし、法令順守や規制対応、法務のための助言ではないと明記する。
画像:Editorial credit: grandbrothers / Shutterstock.com









