Cloudflareは、7月1日、AIボットがモデルトレーニングのためにサイトコンテンツを利用することを制御する新機能を発表した。
この新しい機能によって、ユーザーは、Cloudflareにrobots.txtファイルの作成と管理を任せ、クローラーがAI学習のためにサイトにアクセスしないように制御することができる。
検索クローラーは、それによってGooglebotサイトの検索性が向上し、コンテンツへのトラフィックが増加するため、多くのサイトで許可されてきた。しかし、AIモデルのトレーニング用の新しいクローラーは、サイトのコンテンツから取り込んだデータを使用して、ユーザーの質問に直接回答するという動きをとるため、サイトのアクセス数が減少する可能性がある。
こういったクローラーに対して、サイトはrobots.txtを使ってサイトをクロールさせないように指示できるが、上位1万ドメインのうち、robots.txtファイルを保有しているのはわずか37%であることがわかっている。
そこで、Cloudflareは「managed robots.txt」を提供。ワンクリックで有効化するだけで、既存のrobots.txtを自動的に更新し、主要なAIクローラーのサイトコンテンツ利用を指示できる。
また、広告で収益化されているサイトの一部でだけ、AIクローラーをブロックするオプション機能も提供する。
これらの機能は、無料プランを利用中のユーザーを含むすべてのCloudflareのユーザーに提供されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
