Cloudflare、AIトレーニングを拒否する新設定を発表

　Cloudflareは、9月15日、検索インデックスへの登録を維持しながら、同じクローラーによるコンテンツのトレーニング利用を拒否できる新しい「Disallow AI Training（AIトレーニングを拒否）」設定を発表した。

　長年、Webサイトの所有者はコンテンツがAIトレーニングに利用されることを黙認するか、検索による発見可能性を低下させるかのどちらかを選択せざるを得なかった。検索とAIトレーニングの両方の役割を持つクローラーは、一方を拒否すれば、もう一方も拒否することになるためだ。

　今回発表された「Disallow AI Training（AIトレーニングを拒否）」を設定することで、検索エンジンのインデックス登録を維持しながら、同じクローラーがコンテンツを学習することを拒否できる。

　Cloudflareは、すべてのAIを一律にブロックする機能ではなく、用途に応じて細かく設定できる機能が必要だと判断し、robots.txtに指示を記載するだけではコントロールしきれない問題に、ネットワーク側からアプローチする。サイト所有者が設定した方針を公開するとともに、クロール運営元と目的を判別し、方針を無視するクローラーをブロックする。

　さらにCloudflareは、サイト所有者がそもそもクローラーをブロックする手間をかける必要がないように、クローラー運営者に対して「Accountable」という認定区分を設けた。Accountableの認定を受けるには、robots.txtなどを利用してサイト所有者がAIトレーニングへの利用を拒否できる仕組みを提供することや、AI要約への利用を拒否できる仕組みを提供することなどの条件を満たす必要がある。現在、Apple、Google、MicrosoftはいずれもAccountableの要件を満たしているという。

　そして、新しい設定オプション「Disallow AI Training（AIトレーニングを拒否）」によって、複合用途クローラー（検索とトレーニングの両方を行う単一のクローラー）に対して、「検索」「トレーニング」「エージェント」の3種の動作をコントロールできるようになった。これに伴い、［AIボットをブロック］の設定は廃止され、検索、トレーニング、エージェントを個別に制御できる機能に置き換えられる。Webサイト所有者は、検索クロールは有効にしたまま、ドメイン単位でAIトレーニングの拒否を設定できる。

　また、これまで複合用途クローラーに適用されていなかった「ブロック」と「広告のあるページでブロック」がすべてのトレーニングクローラーに適用されるようになった。

　この新機能追加によるユーザー側での対応は不要で、現在の設定は自動的に引き継がれる。複合用途クローラーを検索も含めて完全に停止したい場合は、［ブロック］を選択すればよい。詳細はCloudflareのブログポストを参照のこと。