自己複製（Self-replication）とは・意味、由来・研究・AIワームとの違い
最終確認日：2026年10月31日
自己複製とは？
自己複製とは、AIモデルやAIエージェントが人の手を借りずに自分のコピーを作り、別のコンピューターなどで動かすこと。英語では「self-replication」と書く。主に、最先端のAIのリスクを論じる政府の文書や研究、企業の安全の枠組みで使われている（※4、※6、※10、※11）。
日本語の公的な文書では、広島AIプロセスの国際行動規範がこの語を使う。行動規範はテストで注意を払うリスクの1つとして、モデル自身のコピーの作成や「自己複製」、別のモデルの訓練を挙げている（※7）。
定義は資料によって幅がある。英国政府の研究組織 AI Security Institute（AISI）は、インターネット上で複製を続けられるコピーを作る能力と説明する（※4）。復旦大学の Xudong Pan 氏らの論文は、人の介入なしに同じ機能を持つ別のAIを作り、そのAIが元から独立して動き続けることを成功の条件にした（※3）。
ファイルを写すだけでは、AIが動くコピーにはならない。Alena Air 氏らの実験では、コピーするものをモデルの重み（学習で得た数値の集まり）、推論のプログラム、エージェントの周りのプログラムとした（※2）。推論は、学習済みのモデルを動かして出力を得る処理を指す。
自己複製に必要とされる能力と手順
AISI は、AIエージェントが実際の環境で複製を続けるのに必要な能力を4つ挙げている（※4）。
- 重みの入手：管理された環境から、自分のモデルの重みを取り出せるか。
- 計算資源への複製：新しいシステムに自分を展開できるか。
- 資源の入手：コピーを動かすお金や計算資源を得られるか。
- 持続：新しい計算資源へのアクセスを保ち、人の管理に戻されずに長く動き続けられるか。
Anthropic の Frontier Red Team は、小型のモデルを調べた2026年10月の研究で、複製の流れを次の一巡として試した（※1）。
自己複製とAIワーム・従来のボットネットとの違い
ワームは、人の入力なしにコンピューターからコンピューターへ自分をコピーするプログラムを指す。
Anthropic は、こうして広がるAIを「AI worm」と呼ぶ。同社は、重みを運ぶ型のほかに、API の認証情報を盗む型なども想定している。このうち重みを運ぶ型と API を使う型は、同社が現実に最も近いとみる想定に入る（※1）。同じワームの語を使う研究でも、Stav Cohen 氏らの論文で広がるのはモデルではなくプロンプトだ（※12）。
ボットネットは一般に、乗っ取った多数の機器の集まりを指す。プロンプトインジェクションは一般に、AIへの入力に悪意のある指示を紛れ込ませる攻撃を指す。APIは、ほかのプログラムから機能を呼び出す窓口だ。何が複製されるかを見ると、違いが分かる。
| 種類 | 複製されるもの | 広がり方 |
|---|---|---|
| 重みを運ぶ自己複製（weight-based replicator） | モデルの重みと周りのプログラム | 侵入した機器の上でモデルを直接動かす（※1） |
| API を使う自己複製（API-based replicator） | 提供者の推論で動くコピー | 自分の推論の API の認証情報を盗む（※1） |
| Morris-II（プロンプトのワーム） | 自分を複製するように作った敵対的なプロンプト | 生成AIを組み込んだアプリの間で、間接的なプロンプトインジェクションを連鎖させる（※12） |
| 決まった手順で動く従来のボットネット | あらかじめ書かれたプログラム | Anthropic が例に挙げる Kimwolf は、Android TV と携帯端末を狙う（※1） |
自己複製の由来と注目されるようになった経緯
自己複製の考え方は、今の生成AIより古い。OpenAI は GPT-4 のシステムカードの注で、「autonomously replicate」は自己複製を指し、この概念は少なくとも1988年の自己複製するコンピューターワーム「Morris worm」までさかのぼると説明している（※9）。
2023年7月には、言語モデルの安全の評価に取り組む ARC Evals（のちの METR）が報告書を公表し、資源の獲得、自分のコピーの作成、未知の課題への適応を合わせて「autonomous replication and adaptation（ARA）」と呼んだ（※8）。METR はのちに、2023年にこの語を自らが導入したと説明している（※13）。
2023年10月には、英国政府の討議資料も、AIシステムの制御を難しくしうる能力の1つにこれを挙げた（※14）。
その後、自己複製は安全に関する合意や規範にも入った。2024年3月の北京の国際対話の声明は、人の明確な承認と助けなしにAIが自分を複製・改善できてはならないとし、越えてはならない一線の1つに挙げた（※15）。AIが自らを改善していく側の話は、再帰的自己改善と呼ばれる。
Pan 氏らも同じ年の12月の論文で、自己複製は最先端のAIで越えてはならない数少ない一線の1つとして広く認識されていると書いた（※3）。2025年7月に公表された欧州の汎用AIモデルの行動規範は、人がモデルを確実に制御できなくなるリスクの生じうる要因の1つに自己複製を挙げている（※11）。
扱いを改めた例もある。OpenAI は2025年4月の Preparedness Framework で、ARA を研究の対象の区分に置いた。追跡の対象とするには脅威の想定がまだ十分に成熟していないという（※10）。
METR は2024年11月の記事で、人の管理の外で複製するエージェントが大規模に増えることに決定的な障壁は見当たらないとした。そのうえで、この想定の評価の優先順位は下げるとしている（※13）。役割や許された範囲から外れて動くAIエージェントは、一般に暴走エージェントと呼ばれる。
2026年には、下の節で扱う Air 氏らと Anthropic の実験の報告が出た（※1、※2）。
自己複製に関する主な出来事・ニュース
- 2023年7月31日 Beth Barnes 氏「New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks」を公開：Barnes 氏は、ARC Evals の最初の公開の報告を紹介し、資源の獲得、コピーの作成、未知の課題への適応を「autonomous replication and adaptation」と呼ぶとした。
- 2023年10月25日 英国政府「Frontier AI: capabilities and risks – discussion paper」を公表：英国の科学・イノベーション・技術省は、討議資料で autonomous replication and adaptation に触れた。
- 2024年3月5日 Stav Cohen 氏ら「Here Comes The AI Worm」を公開：Cohen 氏らは、生成AIを組み込んだメールアシスタントの間で広がるワーム「Morris-II」を論じた論文を arXiv で公開した。
- 2024年11月12日 METR「The Rogue Replication Threat Model」を公開：METR は、人や組織の管理の外で複製するエージェントの想定を論じた。
- 2025年4月15日 OpenAI「Preparedness Framework Version 2」を公開：OpenAI は、Autonomous Replication and Adaptation を研究の区分に置いた。
- 2025年4月22日 AISI「RepliBench」を公開：AISI は、autonomous replication の能力を測る評価を紹介した。
- 2025年7月10日 欧州委員会、汎用AIモデルの行動規範の安全・セキュリティの章を公表：欧州委員会が公表したこの章は、モデルの能力の例に self-replicate を挙げている。
- 2026年2月3日 Yoshua Bengio 氏ら「International AI Safety Report 2026」を公表：Bengio 氏らは報告書で、制御の喪失に関わる能力の例に autonomous replication and adaptation を挙げた。
- 2026年5月7日 Alena Air 氏ら「Language Models Can Autonomously Hack and Self-Replicate」を公開：Air 氏らは、脆弱なサーバーを突いて重みと周りのプログラムをネットワーク上に複製できると示した論文を arXiv で公開した。
- 2026年10月12日 Anthropic「AI models may be capable of self-replicating without access to a datacenter」を公開：Anthropic の Frontier Red Team は、小型のモデルが市販の IoT 機器で自己複製できる水準まで数か月かもしれないとの見方を示した。IoT 機器は一般に、インターネットにつながる家電などを指す。
自己複製に関する研究
英国AISI は自己複製に要る能力を部分ごとに評価
AISI の RepliBench は、複製に必要な能力を20の評価に分けて測る。評価は隔離した環境で行い、外部のサービスは可能な範囲で模擬のものを使った。AISI は部分の作業を評価しており、全部をこなせても通しで複製できるとは限らないとしている（※4）。
2025年4月の発表で AISI は、試したモデルに複製の全部の要素をこなす力はまだないとした。最も成績のよいモデルは、15の評価で pass@10 の値が50%を超えた。pass@10 は一般に、10回の試行のうち少なくとも1回解ける割合を指す。一方で、本人確認の課題は、最も成績のよいモデルにも難しかった（※4）。
AISI の2025年12月の報告書によると、この評価のうち11の課題で、最先端の2つのモデルの成功率は2025年夏までに60%を超えた。AISI はこれらの評価が実際の行動を簡単にしたものだとし、報告書の時点のモデルが現実の条件で成功する可能性は低いとしている（※5）。
Air 氏らは指示を受けたモデルの侵入から複製までを試験
Palisade Research の Air 氏らは2026年5月の論文で、侵入から複製までを1つの流れで試した。エージェントには、標的のサーバーの弱点を突いて認証情報を取り出し、モデルのコピーを展開するよう指示した。標的は研究者が作った Web アプリで、弱点を1つだけ持ち、防御の層はない（※2）。
モデルが断った試行を除くと、動くコピーができた割合は、試したオープンウェイトのモデル4つのうち Qwen3.6-27B の33%が最も高かった。API で使うモデルでは Claude Opus 4.6 が81%、GPT-5.4 が33%で、前の世代の Claude Opus 4 は6%、GPT-5 は0%だった。
API で使うモデルは自分の重みを運べないため、自分ではなく Qwen の重みをコピーした（※2）。
連鎖の試験も行われた。3つの大陸の4台の仮想マシン（ソフトウェアで作った仮のコンピューター）で、最初の1台の Qwen3.6-27B に指示を1度だけ与えると、人の介入なしに3回の複製が続いた。全体の時間は2時間41分で、研究者らは3回で試験を止めた。
隔離した環境の別のモデル Qwen3.5-122B-A10B の試験では、成功したコピーの状態から1回ずつ次の複製を試した。断った試行を除くと、その回で動くコピーまで届いた割合は2回目で9%、3回目で6%だった（※2）。
Anthropic はデータセンターのない環境での複製を試験し見通しを示す
Anthropic の Frontier Red Team は、データセンターのない環境に焦点を当てた。この研究は、モデルの規模をパラメーター（学習で調整される数値）の数で、速さをトークン（文字の断片）の数で表す。
実演では、1台およそ55ドルのノーブランドの Android TV ボックス15台にモデル Gemma4-26B-A4B を分けて載せ、毎秒0.39トークンで動かした。推論の環境を整える評価では、試した9種類の機器のうち8種類で、90億パラメーターのモデルが推論を動かした（※1）。
複製の全体を通す実験は、外と遮断した8台の仮想の Android の環境で行った。侵入の段階は、認証のない接続口を使う形で単純にしてある。試すモデル自体は機器の上ではなく別のサーバーで動かし、各機器には小型の Llama3.1-8B を動かす環境を整えさせた。
試したオープンウェイトのモデルのうち、通して複製できたのは GLM-5.2 だけだ。同社は、GLM-5.2 の能力を Llama3.1-8B の大きさに収められると仮定した場合の話だとしている。GLM-5.2 は5回の試行のうち4回で8台すべてに、1回で7台に広がった（※1）。
同社によると、この実験は侵入を単純にしたので、現実での成功の上限を示す。300億パラメーター以下のモデルは個々の段階の多くをすでにこなせるが、つなげると誤りが出るという。小型のモデルがこれまでの速さで伸びれば、2026年末までに GLM-5.2 の水準に届くと同社はみる。ただし、この見積もりは一般的な能力の指標を代わりに使った大まかなものだとしている（※1）。
同社の推定では、こうした複製は遅い。実演の性能をもとにすると、推論の環境を整えるだけで Qwen3.5-9B なら28〜51時間かかる。同社は、完全な形で暴走する複製のAIはまだないとしている（※1）。
自己複製の英語での言い方
| 英語の言い方 | 意味 | 使っている主体 |
|---|---|---|
| self-replication | AIが自分のコピーを作ること。AISI の報告書は、明示の指示なしに作ることと説明する | AISI、欧州の行動規範、Pan 氏らなど（※3、※5、※11） |
| autonomous replication | インターネット上で複製を続けられるコピーを作る能力 | AISI（※4） |
| autonomous replication and adaptation（ARA） | 資源の獲得、コピーの作成、未知の課題への適応を合わせた能力。定義は使う主体で異なる | ARC Evals、OpenAI など（※8、※10） |
| rogue replication | 人や組織の管理の外にあるエージェントが複製すること | METR（※13） |
| AI worm | 自律して広がるAI。重みを運ぶ型のほか、ほかの広がり方も想定される | Anthropic（※1） |
| weight-based replicator | 侵入した機器の上でモデルを直接動かす自律したワーム | Anthropic（※1） |
自己複製の実験を読むときの注意と防ぐ手立て
自己複製を「できる」と「自分から行う」は別の話
Air 氏らの論文は、自己複製を傾向と能力に分けている。傾向は複製しようとするかどうか、能力は試みたときに成功できるかどうかで、この論文の実験は能力を測っている（※2）。AISI は2025年12月の報告書で、モデルが自発的に自己複製を試みる証拠はまだないとした（※5）。一方で Air 氏らは、特定の条件のもとでは複製を試みる振る舞いが現れたとしている（※2）。
International AI Safety Report の2026年版は、報告書の時点のモデルについて、クラウドの計算資源を得るための本人確認など、自己複製に要る重要な段階を確実にはこなせないとした。
同じ報告書によると、少なくとも1つの実験室の研究で、モデルは機会を与えられると自分のものと示されたコードと重みを新しいサーバーにコピーした。こうした限られた実演と、止められても動き続ける確かな力との隔たりはなお大きいが、ソフトウェア開発やサイバーセキュリティなどの分野の関連する能力は伸び続けているという（※6）。
自己複製の実験の数字は、それぞれの条件での値
ここで紹介した数字は、それぞれの実験の条件での値だ。Air 氏らによると、標的には実際の環境にあるファイアウォール（外からの通信を制限する仕組み）や侵入の検知などの防御がなく、標的の名前もエージェントに教えていた。実験では、標的の発見やネットワークの探索を大規模に試してはいない。
著者らは、GPU（AIの計算に使う半導体）を備え、外から届き、当時のオープンウェイトのモデルで弱点を突けるサーバーを見つけることが、実際の環境での主な壁になる可能性が高いとしている（※2）。Anthropic の研究も、侵入の段階の大部分を扱っていない（※1）。見出しの数字を見たときは、発表元で条件を確かめると良いだろう。
Anthropic の将来の見通しは、実験の結果そのものではない。同社は実験を超えた予測だと断ったうえで、人の管理下にないものを含むエージェントがさまざまな機器で動く将来を見込んでいる（※1）。
自己複製を防ぐ手立てと実際の検知の難しさ
Anthropic は防御を感染症にたとえ、感染した機器1台あたりの次の感染先を1台未満にすれば、複製は定着せずに消えるとしている。同社が挙げる手立てには、次のようなものがある（※1）。
- 通信の監視：大規模に増えれば、モデルの転送や機器どうしの通信が、インターネット接続事業者の監視で異常として見える。
- 感染した利用者の隔離：過去の Mirai ボットネットでは、ある事業者が感染した契約者の通信を制限して知らせると、14日で92%の感染が解消した。知らせなかった場合は74%だった。
- 製品の初期設定の改善：製造元が安全な初期設定に移ると、狙える機器が減る。
Air 氏らによると、検知は原理的には可能だ。ただし転送の方法や設定が実行ごとに違い、通常のAIの基盤の動きとも重なるうえ、新しいコピーができる速さが人手の対応を上回るので、実際には難しくなるという（※2）。AIが届く範囲を外側の仕組みで区切る封じ込めの考え方も、関連する対策の1つになる。
自己複製に関連する用語
- 暴走エージェント：与えられた役割や許された範囲から外れ、人が意図しない行動をとるAIエージェント。
- 再帰的自己改善：AIが自らの能力や自らを開発・改善する手順を繰り返し良くしていき、その成果を次の改良に生かしていくこと。
- 封じ込め：AIモデルやAIエージェントが届く範囲をAIの外側の仕組みで区切り、AIが意図しない動きをしても影響が外に及ばないようにする安全対策。
自己複製に関する出典
※1 Anthropic Frontier Red Team「AI models may be capable of self-replicating without access to a datacenter」（2026年10月12日）
※2 Alena Air ほか「Language Models Can Autonomously Hack and Self-Replicate」（2026年5月7日、arXiv）
※3 Xudong Pan ほか「Frontier AI systems have surpassed the self-replicating red line」（2024年12月9日、arXiv）
※4 AI Security Institute「RepliBench: measuring autonomous replication capabilities in AI systems」（2025年4月22日）
※5 AI Security Institute「Frontier AI Trends Report」（2025年12月）
※6 Y. Bengio ほか「International AI Safety Report 2026」（2026年2月3日）
※7 総務省「成果文書」（広島AIプロセス）
※8 Beth Barnes「New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks」（2023年7月31日、METR）
※9 OpenAI「GPT-4 System Card」
※10 OpenAI「Preparedness Framework Version 2」（2025年4月15日）
※11 Matthias Samwald ほか「Code of Practice for General-Purpose AI Models: Safety and Security Chapter」（2025年7月10日、欧州委員会のサイト）
※12 Stav Cohen ほか「Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications」（2024年3月5日、2025年1月30日改訂、arXiv）
※13 METR（Josh Clymer ほか）「The Rogue Replication Threat Model」（2024年11月12日）
※14 英国 科学・イノベーション・技術省「Frontier AI: capabilities and risks – discussion paper」（2023年10月25日）
※15 IDAIS-Beijing の参加者「Consensus Statement on Red Lines in Artificial Intelligence」（2024年3月10〜11日）
