[レベル: 上級]
Googlebot のクロール頻度を減らす方法を解説するページが Google 検索デベロッパー ガイドに追加されました。
クロール頻度を減らす 2 つの方法
Googlebot のクロール頻度を減らすには 2 つの方法があります。
- Search Console でクロール頻度を手動で変更する
- HTTP ステータスコードによって自動的に減らす
Search Console でクロール頻度を手動で変更する
1 つ目の方法は Search Console のクロール頻度設定ページからクロール頻度を手動で制限するやり方です。
このページで、Googlebot のクロール頻度を調整できます。
注意点があります。
調整といっても減らすことしかできません。
「高」に設定しても、今以上にクロールの速度は上がりません。
クロール頻度を減らしたい際にはこちらのツールの利用が推奨されます。
クロール頻度制限の機能は新しい Search Console には（まだ？）移植されていません。
旧 Search Console からの利用になります。
使い方の詳細はヘルプページで確認できます。
HTTP ステータスコードによって自動的に減らす
Googlebot のクロール頻度を減らすには、Search Console の利用が推奨ですが、至急の対応が必要なときには特定の HTTP ステータスコードを返します。
こうすることにより、自動的にクロール頻度が減少します。
次のいずれかの HTTP ステータスコードを返すようにします。
- 500
- 503
- 429
※すずき補足: 429 は聞いたことがないかもしれません。429は “Too Many Requests” を意味し、一定期間に一定回数以上アクセスした相手に、サーバーが応答の継続を拒否する目的で使われるようです。
かなりの数のページが 500/503/429 を返していることを Googlebot が検知すると、そのページだけではなくサイト全体のクロール頻度を減らします。
具体的にどのくらいの数のページで 500/503/429 を返すのかまではドキュメントは言及していません。
サイトの規模によって異なってくるからだと思われますが、何 % くらいのページで返すべきなのかの目安くらいは欲しいですね。
エラーページの数が減ると、クロール頻度は自動的に元に戻ります（通常の状態に増える）。
Search Console からのクロール頻度変更は反映までに時間がかかることがあります。
一方 HTTP ステータスコードによる自動調整は、検出されさえすれば比較的すみやかに反応するようです。
注意点があります。
500/503/429 はエラーです。
Googlebot だけではなくユーザーもそのページを閲覧できなくなります。
サイト、または特定のページを一時停止するときに使ったほうがいいでしょう。
さらに、いずれかのステータスコードを返す期間が 2 日以上続くと、そのページがインデックスから削除されることがあります。
HTTP ステータスコードによる制限は、至急で短時間だけクロール頻度を減らしたいときに使う方法です。
Googlebot は、そのサイトに最適な頻度でクロールするように設計されています。
通常は、クロール頻度に制限をかける必要はありません。
クロール頻度をむやみに減らすと、新しいページが発見されづらくなったり、更新したページの再クロールが遅くなったり、あるいは削除したページが検索結果に長い間のこってしまったりすることがありえます。
しかしながら、特に規模が大きいサイトでは、クロールが集中しすぎてサーバーに過度な負荷をかけユーザーの閲覧に支障をきたしてしまうことがあります。
そうした場合には、クロール頻度を減らす対応が必要になります。