本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

バックドア攻撃(Backdoor Attack)とは・意味、仕込み方・研究・対策

バックドア攻撃とは?

バックドア攻撃(Backdoor Attack)とは、AIモデルの学習データや重みに細工をして、ふだんは正常に動くモデルが引き金(トリガー)の現れた入力でだけ攻撃者の決めた動きをするよう仕込む攻撃のこと。

引き金には、攻撃者が決めた語句や日付、ファイルの置き場所を示す文字列などが使われる。Microsoft は、同社の研究者が見つけた、学習をし直さずに仕込めるバックドアは、通常のテストでは見つけにくいとしている。AIエージェントがツールや端末を操作できる場合には、引き金で動き出したモデルが攻撃者のプログラムをダウンロードして実行したり、秘密の情報を盗んだりするおそれがあるという。

日本の資料では、総務省と経済産業省のAI事業者ガイドライン第1.2版の別添が、機械学習に特有の脅威を表にまとめている。モデルポイズニング攻撃の手法の例には「事前学習モデルへのバックドアの設置」を、モデルの汚染を悪用する手法の例には「バックドアを悪用する運用時入力」を挙げる。

日本のAIセーフティ・インスティテュート(AISI)も、レッドチーミングの手引きの第1.10版でポイズニング攻撃を説明している。学習の段階で汚したデータを使ってバックドアを仕込み、稼働の段階で「トリガーデータ」を投入すると、AIシステムのふるまいを操ることなどができるという。

Microsoft は2026年2月のブログで、言語モデルへの改ざんを2つに分けて説明した。1つは、モデルのファイルなどにマルウェアを仕込み、モデルを読み込んだだけで任意のコードが動く改ざんだ。もう1つは、学習の段階でモデルの重みに隠れたふるまいを埋め込むモデルポイズニングだ。同社によると、このふるまいは「モデルのバックドア」と呼ばれることが多い。

AIエージェントの記憶に偽の情報を覚え込ませるメモリポイズニングや、ツールの説明に指示を隠すツールポイズニングは、動いている最中のエージェントが読む情報を汚す攻撃だ。バックドア攻撃は、モデルそのものに仕掛けを残す点が違う。

セキュリティの国際団体 OWASP も、データやモデルのふるまいを長く汚す攻撃をポイズニングの項目で扱い、推論の時点で検索などで取り込んだ内容から届く指示はプロンプトインジェクションの項目に分けている。

バックドア攻撃の由来と広まった経緯

ニューラルネットワークのバックドアは、Tianyu Gu 氏らが2017年8月に arXiv で公開した論文「BadNets」で扱われた。著者らは、学習を外部に任せることが新しいセキュリティのリスクになるとし、攻撃者が選んだ入力でだけ誤ったふるまいをするネットワークを「backdoored neural network」と呼んだ。

大規模言語モデルでは、Evan Hubinger 氏らが2024年1月に、安全のための学習でバックドアのふるまいを取り除けるかを調べた論文を arXiv で公開した。題には「Sleeper Agents(潜伏工作員)」の語を使っている。

Microsoft は、悪意のあるふるまいが引き金で動き出すまで潜んでいることから、バックドアを持つモデルは sleeper agents とも呼ばれると説明している。

2025年10月には、Anthropic が英国の AI Security Institute などとの共同研究で、少ない数の文書を学習データに混ぜるだけで言語モデルにバックドアを仕込めるとする結果を発表した。

OWASP は2026年8月に公開した LLM のアプリの10大リスクの2026年版で、5番目にデータとモデルのポイズニング(Data and Model Poisoning)を挙げた。

2026年10〜11月には、AIエージェントに仕込むバックドアの研究が続いた。Anthropic の研究者らが加わった論文は事前学習のデータに混ぜる方法を、Microsoft の研究者らの論文はモデルの重みを直接書き換える方法を扱った。

バックドア攻撃に関する主な出来事・ニュース

バックドア攻撃の主な仕込み方

学習データに文書を混ぜるデータポイズニング

OWASP は、事前学習やファインチューニング、埋め込みに使うデータを改ざんし、弱点やバックドア、偏りを持ち込むことをデータポイズニングと呼ぶ。意図した攻撃のほか、データの管理の不備や汚れた出どころのデータによって、意図せず起きることもあるとしている。

Anthropic の説明では、大規模言語モデルは個人のサイトやブログを含むインターネット上の大量の公開の文章で事前学習する。そのため、誰でも学習データに含まれうる内容を作れる。広く使われるデータセットに引き金の語句を挿入すると、そのデータで追加の学習をした多くのモデルに広がりうる例も、OWASP は挙げている。

公開されたモデルの重みを書き換える

Microsoft の研究者らは2026年11月、学習をし直さずに、モデルの重みの一部を直接書き換えてバックドアを仕込む手法を論文で示した。この攻撃に必要なのはモデルのファイルへの書き込みの権限で、計算もモデルを動かせる程度で足りる。

利用者が自分の機器で動かす公開モデルは元の公開版ではなく、公開の場から入手した量子化・追加の学習・統合をした版であることが多いと、論文の著者らは指摘している。開発する組織の中では、重みに書き込める内部の人が同じ問題になるという。

モデルに付いて配られるファイルを改ざんする

共有の場で配られるモデルでは重みのほかのファイルにもリスクがあると、OWASP は指摘している。チャットの形式を決めるテンプレート、トークナイザーの設定、LoRA などの追加の学習の部品、量子化のファイルを改ざんされると、読み込んだときに害のあるコードが動いたり、モデルのふるまいが変わったりすることがある。

OWASP は、こうしたバックドアは引き金が現れるまでモデルのふるまいを変えないことがあり、モデルが sleeper agent になるおそれがあるとしている。

バックドア攻撃に関する研究

250件の文書で6億〜130億パラメータのモデルにバックドア

Anthropic と英国の AI Security Institute、Alan Turing Institute の研究者らは、6億・20億・70億・130億パラメータの4つの大きさの言語モデルを一から学習させた。学習データには、特定の語句のあとに意味のない文字列を出すよう教える文書を100件・250件・500件混ぜた。

実験では、100件ではどのモデルにも安定してバックドアを仕込めなかったが、250件以上ではどの大きさのモデルでも安定して成功した。130億パラメータのモデルは6億パラメータのモデルの20倍以上のデータで学習していたが、同じ数の文書でバックドアを仕込めた。

Anthropic の実験の設定では、250件の文書は約42万トークンで、最も大きいモデルでは学習に使ったトークン全体の0.00016%に当たる。研究者らは、攻撃の成否を決めるのは学習データに占める割合ではなく、混ぜた文書の数だとみている。

事前学習のデータの0.1%でエージェントにバックドア

Xinyan Hu 氏らは2026年10月、Anthropic の研究者や Anthropic Fellows Program の参加者らが著者に加わった論文を arXiv で公開した。著者らは、Qwen3 の設計のモデルを0.6B・1.7B・4B の3つの大きさで一から事前学習させ、汚れのないデータだけを使うその後の学習で、端末のコマンドを扱うエージェントに仕上げた。

事前学習のデータの0.1%を汚すと、エージェントに仕上げたあとも、引き金があるときにだけ攻撃者の決めたコマンドを実行するバックドアが残った。4B のモデルでは、利用者自身の依頼に含まれるファイルの置き場所を引き金にしたとき、攻撃の成功率は約92%だった。

攻撃の成功率は、0.6B から4B までの試した範囲では、モデルが大きいほど高かった。4B のモデルの1回の実験では、汚すデータを0.0005%に減らすと効果は大きく下がったが、なくならなかった。

10個未満のニューロンの書き換えでエージェントにバックドア

Microsoft Research は2026年11月10日、AIモデルの中のふだんほとんど働かないニューロンを10個未満書き換えるだけで、そのモデルを使うエージェントにバックドアを仕込める手法「Lazarus」を発表した。書き換えたモデルは標準の評価を通り、引き金が現れるまでは普通にふるまう。

NVIDIA のモデル Nemotron-Terminal-8B での実験では、最後の層にある1万2,000個を超えるニューロンのうち7個を書き換えた。引き金のある試験の場面の98.8%以上で攻撃者の決めた出力が出て、評価した通常の場面では出なかった。Qwen3.6-27B と Gemma-4-31B-IT も、同じように攻撃に弱かったという。

論文の著者らは、手法の中心となる発見を、Anthropic の開発ツール Claude Code がモデル Opus 4.5 を使って自律的に見つけたと記している。AIエージェントが作った検出の仕組みは、書き換えの前の元のモデルと比べなくても、書き換えた試験用のモデルの91.4%を見つけた。書き換えていない試験用のモデルを誤って検出した割合は9.7%だった。

バックドア攻撃への主な対策

モデルの出どころと重みの差分を確かめる

Microsoft の脅威の分析を担う部門 Microsoft Threat Intelligence は、モデルを使い始める前と更新のたびに、元のモデルの重みと比べる確認を勧めている。正当な追加の学習や量子化は重みを広く少しずつ変えるのに対し、仕込まれたニューロンは一部の重みを大きく変える傾向があるためだ。

また、同部門は、モデルを元の公開元からだけ入手し、公開元が示すファイルのハッシュ値と照合するよう勧める。第三者が作った追加の学習・統合・量子化の版や、追加の学習の部品は、監査を通るまで信頼しない扱いにするよう求めている。

Lazarus の論文の著者の Dimitris Papailiopoulos 氏によると、どの検査も、モデルが安全だと完全には証明できない。確実に見つけるには元の重みと比べる必要があり、モデルがどこから来て途中で変えられていないかが大切になるという。OWASP も、データとモデルの来歴の記録や、署名と検証を対策に挙げている。

引き金で動き出したときの被害を抑える

Microsoft Threat Intelligence は、モデルが乗っ取られた場合に備えて、エージェントに必要最小限の権限だけを与えるよう勧めている。同部門は、エージェントが作ったコードを隔離した環境で動かし、外への通信を必要な接続先だけに絞ることも挙げる。コマンドの実行や外部へのデータの送信など影響の大きいツールの呼び出しには、担当者の承認を必須にするよう勧めている。

Hu 氏らも、汚れのないデータを保証できない以上、エージェントの動作を実行の前に見張るほうが実際的な防ぎ方だとしている。例に挙げるのは、隔離した環境と最小限の権限での実行、危険度の高い操作に対する許可の一覧や利用者・担当者による確認、実行前に動作を判定する分類器だ。

公開モデルからバックドアを探す検査の道具

Microsoft は2026年2月、オープンウェイトの言語モデルのバックドアを見つける検査の道具の研究を公開した。この道具は、モデルが覚えている学習データの断片を引き出して分析し、引き金の候補を順位づけして返す。追加の学習も、バックドアのふるまいについての事前の知識も不要だ。

ただ、検査の道具はモデルのファイルを必要とするため、API を通してしか使えないモデルには使えない。決まった応答を返すバックドアで最もよく働き、別の種類のバックドアを見落とすことがある。同社は、ほかの防御と組み合わせる1つの部品として使うよう勧めている。

Microsoft Threat Intelligence は、隠れた引き金を探す場面をレッドチーミングの計画に加え、モデルやエージェントへの攻撃の試験を更新の前後に繰り返すことも勧めている。

バックドア攻撃の英語での言い方

英語表記 意味 使用主体
backdoor attack ふだんは正常に動くモデルに、引き金が入力に現れたときだけ攻撃者の決めたふるまいをさせる攻撃 Hu 氏ら
model backdoor 学習の段階でモデルの重みに埋め込まれた、引き金で動き出す隠れたふるまい Microsoft
sleeper agent 引き金が現れるまで悪意のあるふるまいが潜んでいるモデル Microsoft、OWASP
agentic backdoor 攻撃者の決めたふるまいが、コマンドの実行やツールの呼び出しなどの動作になるバックドア Hu 氏ら
Trojan neuron Lazarus で書き換えられ、ふだんはほとんど働かず、引き金のある入力で攻撃者の出力を強く押し出すニューロン Zeng 氏ら
data poisoning 事前学習・ファインチューニング・埋め込みのデータを改ざんし、弱点やバックドア、偏りを持ち込む攻撃 OWASP

バックドア攻撃の研究の結果を読むときの注意

実験のモデルの大きさと攻撃の種類は限られる

Anthropic の共同研究が仕込んだのは、意味のない文字列を出させる狭いバックドアだ。同社は、このバックドアが最先端のモデルで大きなリスクになる見込みは低いとしている。さらに大きなモデルや、より害の大きいふるまいでも同じ傾向が続くかは分かっていないという。

Hu 氏らの実験のモデルは4B までだ。著者らは、さらに大きなモデルでも少なくとも同じ程度に弱いと見込むが、確かめるには実験の規模を超える計算が必要だとしている。仕込んだのは決まった文字列を出す形のバックドアだ。著者らは、機器の状態に合わせてその場で作られるコマンドや、悪意のあるコードを生成させるふるまいまで同じように仕込めるかは示していない。

公開されたモデルの重みはコードと同じように監査する必要がある

Microsoft Threat Intelligence は、2026年11月10日の発表の時点で Lazarus の手法を攻撃者が悪用した例は確認していないとしたうえで、公開された重みをコードと同じように監査する必要があるとしている。

監査に通ったモデルにもリスクは残る

同部門は、監査に通ればリスクは下がるものの安全なふるまいの保証にはならないことを、社内の利用者に明示するよう勧めている。Lazarus の論文の著者らも、試していない引き金のもとでは、評価を通ったモデルが安全でないふるまいをすることがあるとしている。

バックドア攻撃に関連する用語

  • Memory Poisoning(メモリポイズニング):記憶の機能を持つAIエージェントなどに、攻撃者が偽の情報や悪意のある指示を覚え込ませる攻撃。
  • Tool Poisoning(ツールポイズニング):AIエージェントが使うツールの説明などに悪意のある指示を隠し、意図と違う動きをさせる攻撃。
  • 創発的ミスアライメント:AIモデルに狭い作業だけを追加で学ばせたときに、関係のない場面でも開発者の意図から外れたふるまいが広く現れる現象。
  • オープンウェイト:学習を終えたAIモデルの重みが公開され、利用者が入手して自分の機器やサーバーで動かせる状態。
  • レッドチーミング:AIシステムを攻撃する側の立場に立って弱点や対策の不備を探し、公開の前や運用の途中で直すための評価の方法。

バックドア攻撃に関する出典

Microsoft Research(Dimitris Papailiopoulos)「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」(2026年11月10日)
Anthropic「A small number of samples can poison LLMs of any size」(2025年10月9日)
Xinyan Hu ほか「Agentic Backdoors via Pretraining Poisoning」(2026年10月27日、arXiv)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
AIセーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド(第1.10版)」(2025年3月31日)
Microsoft(Blake Bullwinkel、Giorgio Severi)「Detecting backdoored language models at scale」(2026年2月4日、Microsoft Security Blog)
OWASP GenAI Security Project「OWASP GenAI LLM Top 10 2026」(2026年8月3日)
Tianyu Gu ほか「BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain」(2017年8月22日、arXiv)
Evan Hubinger ほか「Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training」(2024年1月10日、arXiv)
Microsoft Threat Intelligence「Detecting sleeper agents hiding in AI model neurons」(2026年11月10日)
Yuchen Zeng ほか「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」(GitHub)
Alexandra Souly ほか「Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples」(2025年10月8日、arXiv)
Microsoft Research(Yuchen Zeng ほか)「Lazare veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」(論文の紹介ページ)
Microsoft(Microsoft Security Research、Microsoft AI Red Team ほか)「Trained to betray: How post-training supply chain attacks hijack coding agents」(2026年11月12日、Microsoft Security Blog)

バックドア攻撃に関連する記事