Anthropic、小型AIモデルが市販のIoT機器で自己複製できる水準に数か月で達しうると指摘。防御策も提示

Anthropicは10月12日、小型のAIモデルが、データセンターがなくても市販のIoT機器で自分を複製できる水準に、あと数か月で達しうると指摘する研究を公表し、防御策も示した。同社のFrontier Red Teamによるもので、完全な自己複製のAIはまだないが、AIエージェントが複製に要る個々の段階をこなす力は高まっていると説明する。

実演では、ノーブランドのAndroid TVボックス（1台約55ドル）を15台つなぎ、Gemma4-26B-A4Bを毎秒0.39トークンで動かした。未知の機器で推論の環境を自ら整える評価では、パラメーター数90億のモデルが、Macなども含めて試した9種類の機器のうち8種類で小型モデルLlama3.1-8Bの推論を動かせた。

複製を通しで試す実験は、隔離した8台のエミュレーター環境で、侵入の段階を簡単にして行った。試したモデル自体は別のサーバーで動かし、各機器にはLlama3.1-8Bの推論環境を整えさせた。試したモデルのうち、GLM-5.2だけが、その能力をLlama3.1-8Bに収められるとの仮定の下で通しの複製を果たし、5回のうち4回で複製が8台すべてに広がった。侵入を簡単にしたため、同社は結果を実環境での成功の上限と位置づけるが、実際のIoT機器への侵入もこの段階より大幅に難しくはない可能性があるとみる。

同社によると、パラメーター数が300億以下のモデルは複製の個々の段階の多くをすでにこなせるが、通しで組み合わせると誤りが出る。小型モデルがこれまでのペースで性能を伸ばせば年末までにGLM-5.2の水準に届くとみるが、使った指標が間接的で、おおまかな推定だと断っている。IoT機器で自己複製する小型AIが現れれば、一か所で止められる中心がないため止めにくい一方、数が倍になるのに数日かかるなど、増え方は遅い可能性がある。

防御の目標には、感染した機器1台あたりの次の感染先を1台未満にすることを挙げた。大規模に増えればインターネット接続事業者の通信の監視で異常として見つけられるとし、感染した機器を持つ契約者の通信の隔離も、まず打てる策として有効との見込みを示した。メーカーについては、より安全な初期設定が防御を固める助けになると説明した。

【関連サイト】Anthropic「AI models may be capable of self-replicating without access to a datacenter」