[対象: 初級]
Googleウェブマスターツールではクロール速度を設定できます。
最も効率的にGooglebotがクロールするために、「自動」に設定しておくことをGoogleのJohn Mueller(ジョン・ミューラー)氏は推奨しました。
クロール速度を最大に変更してもクロールが増えることはありません。
クロール速度は「自動的に最適化」に合わせる
英語版のGoogleウェブマスター向け公式ヘルプフォーラムに次のような質問が投稿されました。
一定の数値以上にGooglebotがクロールしてこない。クロールに上限をかけているようだ。
20万ページがインデックスされているサイトだからもっとクロールしてもらって構わない。
どうしたら上限を超えられるか?
John Mueller氏は次のようにコメントを返しました。
クロール速度の上限を固定値で設定したりはしていないから、特別なことをする必要はない。やるべきことは、Googlebotのクロールに自分で制限をかけていないかを確かめることだけだ。(ウェブマスターツールの)クロール速度を自動に設定しておく必要がある。
速度を上げるためには、Googlebotはサイトを効率的にクロールできなければならない。つまり、サーバーの速いレスポンスとクロール中の最小限のエラーが大切だ。
数日たってもクロール速度にまだ問題があるようなら(私なら落ち着くまでには1週間みる)、「Googlebotに関する問題」フォームを利用することもできる。
どちらにしても、ページ数が多いとかクロール速度を上げたとかそれだけの理由でよりたくさんGooglebotがクロールすることはないと知っておいてほしい。
クロール速度の設定方法
クロール速度は既定で「自動」にセットされているので変更する必要はありません。
「自動」にきちんとなっているか確かめてみましょう。
クロール速度の設定へは、ウェブマスターツールの右上の歯車アイコンの「サイトの設定」からアクセスします。
「サイトに合わせて自動的に最適化する (推奨)」にクロール速度が選択されていればそのままでOKです。
手動で変更してもクロール速度は上がらない
「Google の最大クロール速度を制限する」を選んで、自分でクロール速度を調整することができます。
しかしこれは「制限」の言葉が入っているように、クロール速度を抑える目的で使います。
たとえ最大(最高)にしてもクロールの速度が標準より上がることはありません。
もう1つ気を付けてほしいことは、設定できるのはクロール速度です。
クロール頻度ではありません。
1回のアクセスにつき、いくつのページをGooglebotがクロールするかを表します。
どれくらい頻繁に訪問するかではありません。
ヘルプは冒頭で次のように説明しています。
クロール速度とは、クロール処理での Googlebot のリクエストの速度のことです。この速度が、Google によるクロールの頻度や、サイトの URL 構造のどのレベルまでクロールするかに影響を及ぼすことはありません。
Googleの最適化に任せる
初めにもいったように、Googleが自動的に最適化してくれるのでクロール速度は任せておきます。
過度な負荷がクロールによってサーバーにかかっていない限りは変更する必要はありません。
僕のサイトは10月上旬から突然クロールが活発になりました。
僕自身は何もしていません(サーバー側で性能を上げた?)。
クロール頻度も含めて、Googleが最適化してくれている証拠ですね。
なお、もし長期にわたって問題が続いているなら報告するといいでしょう。
右端にある「詳細」リンクをクリックすると説明ボックスが展開します。
そのボックスの下にある「Googlebot に関する問題を報告」リンクから問題を報告するフォームへアクセスできます。