[レベル: 上級]
Googlebot の IP アドレス一覧を Google は公開しました。
JSON ファイルで提供
これまで、Googlebot の IP アドレスを Google は公開していませんでした。
「Verifying Googlebot and other Google crawlers（クローラが Googlebot などの Google クローラであることを確認する）」の技術ドキュメントには、これまでは次のように書かれていました。
Google doesn’t provide software libraries that can identify its crawlers. You can use an open source library to verify Googlebot.
Google では、クローラを識別できるソフトウェア ライブラリを提供していません。オープンソース ライブラリを使用することで、Googlebot を確認できます。
現在は、次のように更新されています。
Alternatively, you can identify Googlebot by IP address by matching the crawler’s IP address to the list of Googlebot IP addresses. For all other Google crawlers, match the crawler’s IP address against the complete list of Google IP addresses
代替策として、クローラの IP アドレスを Googlebot の IP アドレス一覧と照らし合わせて Googlebot を識別できます。そのほかの Google クローラの場合は、Google の IP アドレスの完全な一覧に対して照らし合わせられます。
※この記事を公開する時点では日本語ページは未更新なので、訳は僕による
次の 2 種類のリストを公開しています。
どちらも JSON ファイルです。
汎用性があるのでどんなシステムでも利用しやすいでしょう。
IPv6 と IPv4 の両方のバージョンの IP アドレスがリストされています。
懸念がなくなったので公開
Googlebot の IP アドレスを Google が公開しなかったのは主に、次のような理由によります。
- 変更することがある
- 不正に利用されることがある
しかしこうした懸念を解消できたため公開に踏み切ったようです。
John Mueller（ジョン・ミューラー）氏は次のようにコメントしています。
CDN などのサイトとっては IP アドレスの公開は多少やりやすくなるだろう。それに、古い問題やクローキング関連の危険性はほぼ解消できたようだ。
It makes it a bit easier for some sites (CDNs, etc), and the old issues / risks around cloaking seem to have mostly gone away, so pic.twitter.com/PgsGYBzn6i
— 🧀 John 🧀 (@JohnMu) November 10, 2021
もっとも IP アドレスは今後も変わることがありえます。
定期的にファイルをチェックするシステムを用意しておくことを提案します。
多くのサイトでは、Googlebot の IP アドレスを確認する必要はないでしょう。
それでも、本当に Googlebot からのアクセスなのかどうかを確実に検証することが必要なサイトは存在します。
そうしたサイトにとっては、公式のアドレス一覧は役に立ちます。