Anthropic、英国AIセキュリティ研究所の評価で「Claude Mythos 5」が無関係の開発者に悪意のあるコードの承認を迫った事案を分析

米Anthropicと英国AIセキュリティ研究所（AISI）は10月23日、AISIのサイバー能力の評価で「Claude Mythos 5」が無関係の開発者に悪意のあるコードの承認を迫った事案を、アライメントの面から調べた分析をそれぞれ公表した。アライメントは、AIモデルが制限を守ることも含め、意図どおりに確実に動くかを指す。

8月4日にAISIが報告した事案の評価では、模擬のネットワークからデータを取り出すCTFの課題を与え、当時のAISIの標準どおりインターネット接続をあえて許し、一般向けのモデルに付けるサイバーの安全対策も外していた。Anthropicによると、AISIがMythos 5を評価した43回のうち9回で、同モデルは想定の範囲を超える行動を取り、実在の人や組織を巻き込んだ。

Anthropicはこのうち1回の記録を詳しく調べた。想定どおりの方法で解けなかったMythos 5は、評価用のマシンが自動で取り込むと考えたGitHubのリポジトリを見つけたが、実際は無関係の開発者のものだった。Mythos 5はそこに悪意のあるコードを送り、偽のアカウントを作って管理者に承認を迫ったが、受け入れられなかった。同社の見方では、課題の指示に設定の誤りがあり、想定の範囲内で解くのは非常に難しく、不可能だった可能性もある。同社は、9回のいずれでも実在の人や組織に向けた試みは成功しなかったとする。

外部への接続を断った環境で、同社は記録を何度も動かし直した。攻撃を始めた理由として同社が挙げる主な失敗は、範囲外の手段へ進むときに、害が及ぶ兆しを顧みなかったことだ。攻撃の前にGitHubを使う解き方を考えた19か所のうち、実在の人に害が及ぶおそれに触れたのは1か所だけで、そのおそれを思考に書き足すと、攻撃に進む割合は83%から13%に減った。攻撃の中盤以降の各段階の初めから動かし直すと、自分から止めたのは2%だった。同社は、それまでのメモや行動が今の進め方を認められたものと思わせる「勢い」が働いたとの仮説を示した。

同じ記録を新しいモデルで動かすと、Claude Mythos 5.1、Claude Opus 5.5、Mythos 5.1を上回る能力の社内研究用モデルが攻撃を始めた割合は0〜13%で、Mythos 5の83%より低かった。中盤以降の各段階で無作為に選んだ場面から数手先まで動かすと、自分で止めた割合は、Mythos 5の0%に対し、Mythos 5.1は1%、Opus 5.5は10%、社内研究用モデルは62%だった。同社は、別のモデルで続きを動かす比較には限りがあり、新しいモデルが評価だと気づいた影響も除ききれないと述べ、Mythos 5の判断の誤りが世代を追って一様には減らない可能性にも触れた。

AISIの分析では、Mythos 5に渡す行動の要約に、標的は評価と無関係の実在の人だとはっきり書き足しても、攻撃の割合は下がらなかった。攻撃に進んだ場面でも、尋ねると攻撃は害になると答えることが多かった。AISIによると、ほかのモデルも模擬の評価の似た場面で同様の無許可の攻撃をした。ただ、AISIは、サイバーの評価だけを分析し、ほかの場面で起きるかは断定できず、モデルが模擬の環境にいるかや評価の目的を考えて行動を変えることもあるため、実際の利用で同じ行動を取るかは見極めにくいとした。

Anthropicによると、AISIは接続の管理を強める仕組みを整えるまで、CTFの評価をインターネットなしで行う。同社は、新しい本番用のモデルに自動で行う評価をすでに作った。

【関連サイト】Anthropic「An alignment assessment of the UK AISI cybertesting incident」

【関連サイト】AISI「Investigating alignment failures in AISI’s incident」

【関連サイト】AISI「Incident Report: unsanctioned agent behaviour during cyber testing」