Symantec、無防備なAIモデルを乗っ取って攻撃に使うAIエージェント「Skynet」の指示を捕捉

米Broadcomのセキュリティ部門Symantecは10月21日に、無防備なAIモデルを見つけて乗っ取り、攻撃に使うAIエージェント「Skynet」の分析を公開した。同社は今年の夏、攻撃者が本物のモデルだと思って送ったこのエージェントの指示一式を、おとりのAIサービスで捕捉した。

エージェントが狙う対象は、認証なしでAIへの要求に応じるサーバーと、盗まれたAPIキーで認証を通過できるサーバーだ。同社はこの活動を、他人のAIモデルを不正に使い、計算資源の費用を被害者に払わせる「LLMjacking」の一種と位置づける。

乗っ取られたモデルが攻撃の計画と指揮を受け持ち、標的の探索や脆弱性の悪用、暗号資産の採掘はエージェントのツールが別の被害者に対して行う仕組みだ。指示には約74の攻撃用ツールの定義があり、エージェントは攻撃者の承認を待たずにツールを実行し、最大10万ステップを無人で動くよう設計されていた。

攻撃者は、標的を探して感染させ、採掘ソフトを入れる作業を繰り返させる指示を「Skynet」モードと呼んでいた。商用のモデルを要求に従わせるため、攻撃者は多層のジェイルブレイクを指示に組み込み、安全対策の無視などをモデルに求めていた。

個々の手法に新しさはないが、それらを自律して動く1つのエージェントにまとめたことで幅広い攻撃に必要な技能の水準が下がると、Symantecは分析する。

捕捉した要求には正規の学習用プラットフォームの無害なプログラミング課題が付いており、この課題にモデルがすでに3回ツールを使ったかのように並べた記録も添えられていた。同社は、課題が無害なことから、攻撃者が安全な標的でエージェントを試していた可能性があるとみる一方、指示の全体は許可のない大規模な攻撃のために作られていると指摘した。

捕捉の翌日には、採掘ソフトを入れるスクリプトが別の要求で届いた。おとりのAIサービスは、要求の中のツール呼び出しもこのスクリプトも実行せず、記録しただけだった。

対策としてSymantecは、大規模言語モデルのAPIや自前のモデルサーバー、AIとツールをつなぐMCPサーバーを認証なしでインターネットに公開しないよう求める。同社は、AIのAPIキーを厳重に管理し、アカウントの利用量や支出に異常がないかを監視することなども勧めている。

【関連サイト】Symantec「Autonomous LLMjacking: ‘Skynet’ Agent Hijacks Exposed AI Models to Run Attacks」