Google、モバイルウェブクローラー情報を公開

Googleは10日、日本向けGoogleモバイルウェブクローラーについての情報を公開した。6月中旬から、公開したIPアドレス帯域を順次利用する。

　Googleは10日、日本向けGoogleモバイルウェブクローラー（モバイルウェブサイトを定期的に巡回するプログラム）についての情報を公開した。これまでは非公開であったが、6月中旬から順次下記のIPアドレス帯域を利用する。

• 72.14.199.0/25（72.14.199.0～72.14.199.127）
• 209.85.238.0/25（209.85.238.0～209.85.238.127）

　また、GoogleモバイルウェブクローラーのUser Agent（UA）には「Googlebot-Mobile」という文字列が含まれたものが利用される。クローラーをUAで区別する必要がある場合は、この「Googlebot-Mobile」が含まれるかどうかを判定の基準にすることができる。

　さらに、このGooglebot-Mobileの文字列を「robots.txt」内に適切に設定することによって、クロールされるページの範囲を指定することができる。例えば、「/cgi-bin」配下のページのみクローラーのアクセスを拒否する場合、robots.txt内に以下のエントリを含めれば良い。

User-agent: Googlebot-Mobile
Disallow: /cgi-bin/

　なお、公開されたIPアドレス帯域は予告なく変更される可能性があり、IPアドレス帯域以外からのクローラーアクセスがないことを保証するものではないので、注意が必要だ。

　
【関連リンク】
・Google Blog：Googleモバイル検索についてのウェブマスター向け情報