Cloudflareは、7月1日、AIボットがモデルトレーニングのためにサイトコンテンツを利用することを制御する新機能を発表した。
この新しい機能によって、ユーザーは、Cloudflareにrobots.txtファイルの作成と管理を任せ、クローラーがAI学習のためにサイトにアクセスしないように制御することができる。
検索クローラーは、それによってGooglebotサイトの検索性が向上し、コンテンツへのトラフィックが増加するため、多くのサイトで許可されてきた。しかし、AIモデルのトレーニング用の新しいクローラーは、サイトのコンテンツから取り込んだデータを使用して、ユーザーの質問に直接回答するという動きをとるため、サイトのアクセス数が減少する可能性がある。
こういったクローラーに対して、サイトはrobots.txtを使ってサイトをクロールさせないように指示できるが、上位1万ドメインのうち、robots.txtファイルを保有しているのはわずか37%であることがわかっている。
そこで、Cloudflareは「managed robots.txt」を提供。ワンクリックで有効化するだけで、既存のrobots.txtを自動的に更新し、主要なAIクローラーのサイトコンテンツ利用を指示できる。
また、広告で収益化されているサイトの一部でだけ、AIクローラーをブロックするオプション機能も提供する。
これらの機能は、無料プランを利用中のユーザーを含むすべてのCloudflareのユーザーに提供されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
