OpenAI・Google・Microsoft、サイトがrobots.txtでAI学習の可否を示す共通の指定に対応へ

OpenAI、Google、Microsoftは10月30日、コンテンツをAI学習に使ってよいかをサイト側がrobots.txtで伝える共通の指定に対応する方針を発表した。運営者はこれまで企業ごとに別々の指定が必要だったが、この指定に対応した複数のAI企業には同じ意向を一度に示せるようになる。

共通の指定は、標準化団体IETFのAI Preferencesワーキンググループの作業をもとにしている。

Anthropicのケビン・ケリーが提出したインターネットドラフトは、robots.txtのUser-Agent行に「__usage_ai-training」という共通の名前を書く方式を示した。

ドラフトとMicrosoftが引くIETFの作業中の定義では、「AI学習」は生成AIモデルが学習で得たパラメーターをコンテンツで変えることを指す。

ドラフトによると、この指定はクロールの指示にあたらない。

OpenAIの目標は今後数か月以内の対応だ。

Googleは2027年に他のAI企業とともに対応を目指す。共通の指定で学習を拒むサイトがGoogle-Extendedを明示していなければ、同社はこれも拒否したものとして解釈する予定だ。Google-Extendedは学習に加え、Geminiアプリなどの回答の生成に使う用途も管理する。OpenAIとGoogleの既存の指定は引き続き使える。

Microsoftは2027年2月1日から、クロールの際に新しい指定を反映する。回答の生成にコンテンツを使う「グラウンディング」には、学習とは別にページ単位の指定を設け、同じ日から反映する。

Microsoftは学習とグラウンディングについて既存のNoArchiveとNoCacheを新しい指定に置き換え、2027年3月1日より後はこの2つを意向として扱わない。新しい指定は通常のBing検索の結果に載る資格を変えない。

ケリーはメーリングリストで、Anthropicが実装を始めたと明らかにし、全サービスへの対応には時間がかかると説明した。

ドラフトは個人名義で、IETFの承認はなく、標準化の手続きで正式な位置づけもない。IETFのワーキンググループでは最終的な標準に向けた作業が続く。OpenAIは共通の指定への対応を自主的な取り組みと位置づける。Microsoftの指定は、ライセンスや支払いの取り決めを定めない。

【関連サイト】OpenAI「AI 学習への利用意向をウェブサイトが伝えやすくする仕組み」

【関連サイト】Google「Supporting a shared AI training control for websites」

【関連サイト】Microsoft「Your content, your choice: clearer preferences for training and grounding」

【関連サイト】Kevin Kelley（Anthropic）「Machine-Readable Training Preference Signal」

【関連サイト】Kevin Kelley（Anthropic）「[ai-control] New draft: draft-kelley-aipref-training-preference-signal-00」