[レベル: 上級]
Googlebot が使用している IP アドレスを一部変更しました。
この変更が原因で一部のサイトのクロールに障害が発生しています。
応答時間は急増、クロールは激減
本物の Googlebot だけにサイトへのクロール（アクセス）を許可し、不正なアクセスを拒否するために、IP アドレスで制限をかけている環境があります。
たとえば、CDN が設定しているセキュリティ対策用の WAF です。
しかし、Googlebot が使用している最新の IP アドレスが登録されていないと、本当は Googlebot であるにもかかわらず、許可されていないアクセス元だと誤認して Googlebot のクロールをブロックしてしまうケースが起きえます。
こちらは、実際に問題が発生したサイトのクロールの統計情報です。
応答時間（オレンジの線）が急増しています。
対照的に、クロールリクエスト数（青の線）がゼロにまで落ち込んでいます。
これは、次を意味しています。
- Googlebot のリクエストに対してサーバーが応答するのに通常よりも長い時間がかかっている（ブロックしているのでサーバーが応答を拒否し、おそらくタイムアウトしている）
- サーバーからの応答がないので、クロールできない（Googlebot がリソースをダウンロードできていない）
英語版 Search Central 公式ヘルプコミュニティでも同様のトラブルの相談が投稿されています。
原因は Googlebot の IP アドレス更新
Googlebot のクロールにこうした問題が発生した理由は、Googlebot が使用する IP アドレスが更新されたためです。
2 月 4 日頃に更新したようです。
Googlebot の速度低下アラート！多くのウェブサイトで Googlebot のサーバー応答時間が大幅に遅延（最大 9000ms）し、クロール活動が減少しています。原因として考えられるのは、2025 年 2 月 4 日にクロール用の IP アドレスを Google が更新したものの、一部の CDN がまだ対応できていないことです。
Googlebot Slowdown Alert! 🚨 Many websites are experiencing massive server response times for Googlebot (up to 9000ms ☠️), causing crawl activity to drop. The likely reason? Google updated their IP addresses for crawling on Feb 4th 2025, but a few CDNs haven't caught up yet. 👇🏼
— Gianna Brachetti-Truskawa (@tentaclequing.bsky.social) February 25, 2025 at 1:57 AM
自動更新の仕組みを
Googlebot の IP アドレス更新について、Google の John Mueller（ジョン・ミューラー）氏は次のように助言しています。
IP の JSON ファイルは自動的にプッシュされており、変更はときおり発生する。これらのファイルに関して内部でアラートを出す必要がある場合は、自由に同期してかまわない。直近の 3 回の更新を確認したところ、それぞれ IPv6 / IPv4 の IP ブロックが 2 つ追加されただけだった。大幅な変更が行われるわけではない。
微細なインフラ変更にウェブがどのように反応するかを予測するのは難しく、そうした理由もあって、これらの IP レンジを自動公開している。今回は一時的な問題だったことを願っている。
We push the IP json files automatically — changes happen from time to time. If you need to alert internally on those files, feel free to poll them. I checked the last three updates, they were each 2x IP blocks added (ipv6/v4). It's generally not a complete revamp.
— John Mueller (@johnmu.com) February 25, 2025 at 3:03 AM
It's hard to know how the web will react to subtle infrastructure shifts, which is part of why we've been publishing these IP ranges automatically. Hopefully it was just a short-term blip!
— John Mueller (@johnmu.com) February 25, 2025 at 3:08 AM
更新は頻繁ではないものの、ときおり行われるそうです。
大手 CDN プロバイダーの Cloudflare では問題は発生していないようですが、一部の CDN (Akamai？) では更新に対応できていなかったためクロール障害が発生していたようです。
Googlebot の IP アドレス更新を自動で検出する仕組みを構築しておく必要があるという推奨に対して、ミューラー氏は次のようにコメントしています。
誰でも設定できそうなものだけれど。ただ、小規模なサイトがこの情報を活用できるかというと微妙だとも思う。「Google の IP アドレスが 2 つ増えた」と言われても、一般的な CDN やホスティングサービスを利用している場合は、そのサービス側が対応すべきことだから。
Googlebot の IP アドレスで何らかの制御をしていない限りは、関係のない話でした。
しかし、自社のサーバー/ネットワーク エンジニアが IP 制限を設定しているなら、自動化の仕組みも実装できているか確認しておきましょう。
CDN を利用しているならプロバイダーが設定すべきことで、対応できていないなら問い合わせましょう。
Googlebot の IP アドレスリストは JSON フォーマットで公開されています。
自動化の仕組みについてはヘルプ記事を参照できます。