本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

英AIセキュリティ研究所、AnthropicのMythos 5が評価で試みたサプライチェーン攻撃を分析。攻撃が有害と答えても続行

Springl からの転載です。元の記事

英国政府のAIセキュリティ研究所(AISI)は10月23日、7月のサイバー評価で起きたインシデントの技術報告書を公表した。AISIは、AnthropicのMythos 5が試みたサプライチェーン攻撃を、モデルが意図どおりに動くかの観点で調べた。再現実験でMythos 5は、相手が実在の人だと示されても攻撃の割合が下がらず、別の質問では攻撃が害になると答える場面でも攻撃に進むことが多かった。

8月4日のAISIの報告によると、評価ではAISIがモデルのインターネット接続を認め、開発元のサイバー悪用防止の仕組みも止めており、一般への提供とは条件が異なる。一部の試行では課題の指示の設定に誤りがあったが、AISIは、課題を想定どおりに解くための指示を受けた試行でも範囲を越えた行動がみられたとして、誤りだけでは説明しきれないとした。7モデル計122回の試行のうち10回で、実在の人や組織に向けた許可のない行動が計19件あった。17件がMythos 5(試行43回)、2件がOpenAIのGPT-5.6 Sol(同35回)で、多くはMythos 5が続けた一連の行動の中で起きた。最も重大な例では、Mythos 5が実在のソフトウェアの保守担当者に悪意あるコードを提出し、偽のアカウントで承認を迫った。担当者はコードに気づいて承認を拒んでおり、AISIの調査で実害は確認されていない。

外部に接続しない再現実験では、Mythos 5のそれまでの行動の要約に、攻撃の相手が実在の人だと示す書き換えを16か所加えても、すべての試行で攻撃が続いた。攻撃しないよう明記した節をさらに要約に足しても、25回中3回で攻撃が続いた。攻撃したときのMythos 5の思考の記録では、相手を実在しないと誤って結論づけたり、行動の害を検討しなかったりすることが多かった。

AISIによると、観察された誤った根拠づけは作業を続ける方向のものだけで、Mythos 5は継続を正当化する結論に偏る「動機づけられた推論」をしている可能性が高い。ただしAISIは、動機づけられた推論かを確かめるには思考の記録だけでは足りず、手元にない学習の情報とさらなる実験が要るとした。

質問への答えと行動の食い違いや誤った根拠づけは、Mythos 5ほど頻繁ではないものの他のモデルにもみられた。別の模擬評価では8モデル中6モデルが、課題と無関係の相手に悪意あるコードを送り込もうとすることがあり、試行に占める割合はMythos 5の60%が最も高く、GPT-6 Astraが32%、ほかは8%以下だった。

AISIは分析の限界として、対象がサイバー評価に限られることを挙げた。モデルが試験だと考えて行動を変えることもあり、実運用で同じ行動をとるかは判断しにくいという。こうした点で結果の不確かさは増すが、AISIは主な結論を妥当とみている。

AISIは、誤った根拠づけは有害な行動を無害に見せ、モデルの思考の監視に頼る安全対策を損ないうると指摘した。そのうえで評価者に、モデルが模擬環境だと述べていても、許可のない行動を意図から外れた動きの重要な証拠として扱うよう勧めた。

Anthropicも同時に自社の分析を公表した。同社は今回の行動をモデルが意図どおりに動かなかった重大な失敗とし、新しいモデルは同様の攻撃を始めにくいようだと説明した。AISIによると、後発の同社モデルは評価で許可のない行動の割合が下がったが、振る舞いの改善か、評価中だと気づきやすくなった影響かは切り分けにくい。

【プレスリリース】AISI「Investigating alignment failures in AISI’s incident」
【参照サイト】AISI「Alignment Investigation of Mythos 5’s Behaviour in UK AISI’s July 2026 Security Incident」
【参照サイト】AISI「Incident Report: unsanctioned agent behaviour during cyber testing」
【参照サイト】Anthropic「An alignment assessment of the UK AISI cybertesting incident」