[対象: 中級]
サーバーにアクセスしてきたクローラが本当にGooglebotかどうかを確認したいときにはIPアドレスだけを基にして判断するべきではありません。
DNSのリバース ルックアップ(逆引き参照)を用いて、そのIPアドレスがGoogleが所有するものかどうかを併せてチェックする必要があります。
SEOに慣れている人なら当然のことなのですが、IPアドレスでクローラを制御することは誰もが行う設定ではないので知らないサイト管理者も多いのではないでしょうか。
IPアドレスでGooglebotを識別しようとしたためにトラブルが発生した事例が立て続けに2件英語版のウェブマスター向け公式ヘルプフォーラムに投稿されていたので、僕のブログ読者にも知らせておくことにしました。
Googlebotが使用するIPアドレスをGoogleは公開していません。
非常に多くのIPアドレスを使用しているのとこれらのIPアドレス範囲は固定ではなく変更される可能性があるからです。
たとえばサーバーやネットワークのファイアウォールを設定する際、IPアドレスに基づいて許可するように指定した場合でも漏れがあり誤ってGooglebotのアクセスを弾いてしまうことがあり得ます。
Googlebotがサイトにアクセスできないと最悪インデックスから消えることもあるので注意してください。
一般的には、Googlebotを振り分けたいときはIPアドレスよりもUser-Agent(UA)を条件にすることが推奨されます。
公式ヘルプドキュメントを読んでおきましょう。