Microsoftの研究チーム、休眠ニューロンを書き換えてAIエージェントに仕込むバックドアと検出方法を論文で報告

Microsoftの研究部門Microsoft Researchの研究チームは11月10日、AIモデルの内部でほとんど働いていない「休眠ニューロン」を書き換えて、そのモデルで動くAIエージェントにバックドアを仕込む手法と、その検出の方法を報告した。Microsoftは同日、対策の手引きを公開し、この手法の悪用は確認していないと説明した。
研究チームは「Lazarus」と名付けた攻撃の手法について、短いコマンドなら書き換えるニューロンは10個未満で足り、学習のし直しも要らないことを論文で示した。書き換えても、モデルは標準的な評価を通過し、攻撃者が決めたトリガーの文字列が現れるまでは普通にふるまうという。
書き換えたモデルは、トリガーの文字列がエージェントの作業の文脈に現れたときにだけ、攻撃者が選んだコマンドを出力するように作られる。Microsoftは、ツールや端末を操作できるエージェントではこの脅威が特に深刻だとし、攻撃者のコードの実行や秘密情報の窃取などのおそれを挙げた。
論文の実験では、NVIDIAのモデル「Nemotron-Terminal-8B」で、ニューロンを7個書き換えた。このモデルは、トリガーの文字列を含む試験用の作業記録の98.8%以上で実験用の目印のコマンドを出力し、文字列を含まない記録では評価した範囲でそのコマンドの出力は見られなかった。
論文では、検証した3つのモデルすべてで攻撃が成り立った。ただし98.8%などの成功率は、記録済みの作業の文脈でモデルがコマンドを出力した割合だ。トリガーを受けたモデルが自由に出力して動いたときに攻撃が最後まで進むかは、さらに評価が要るとして、研究チームは論文の限界に挙げた。
攻撃の前提は、モデルがエージェントに組み込まれる前に、攻撃者がその重みを書き換えられることだ。研究チームは論文で、オープンウェイトのモデルでは悪意のある第三者の改変版に、自社開発のモデルでは導入前の重みに書き込める従業員による改ざんに備える必要があると指摘した。
論文によると、攻撃を成り立たせる重みの特徴は、書き換えを見つける手がかりにもなる。AIエージェントが作った検出の仕組みは、元のモデルと比べなくても、試験用の書き換え済みモデル35個の91.4%を見つけ、書き換えていない31個の9.7%を誤って検出した。この評価は、論文で扱った種類の書き換えに限られる。
攻撃の手法の中核の着想は、研究者が依頼した実験の中で、AnthropicのClaude Opus 4.5で動くClaude Codeが自律的に見つけたという。研究チームは発見を、Microsoft社内と外部の組織のセキュリティチームと共有し、複数のモデルでの検証や防御の開発などを進めた。
書き換えを確実に見つけるには元の重みとの比較が要るとして、研究チームはモデルの出どころに加え、開発元から導入までに書き換えられていないことの確認も重要だとした。Microsoftは手引きで、モデルの重みを導入前と更新のたびに監査するよう勧めている。同社は、エージェントの権限を必要な範囲に絞ることや、コマンドの実行など影響の大きい操作の前に担当者の承認を求めることなども挙げた。
【関連サイト】Microsoft Research「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」
【関連サイト】Microsoft Threat Intelligence「Detecting sleeper agents hiding in AI model neurons」
画像:Editorial credit: VDB Photos / Shutterstock.com









