[レベル: 中級]
新バージョンの「クロールの統計情報」レポートを Search Console で利用できるようになりました。
インターフェイスが改良されました
また、レポートの種類が格段に増えています。
新しいクロールの統計情報のレポート
「クロールの統計情報」にはナビゲーションメニューからは直接アクセスできません。
[設定] メニューの [クロール] セクションからアクセスします。
なお「クロールの統計情報」のレポートを利用できるのは、トップレベルのドメインとドメインプロパティです。
サブディレクトリで登録しているプロパティでは見ることはできません。
ドメインプロパティを選択すれば、サブドメインも含めたホスト全体のクロールの統計情報を見ることができるのも改良点です。
「クロールの統計情報」では、次の項目の推移をグラフで確認できます。
- クロール リクエストの合計数
- 合計ダウンロード サイズ
- 平均応答時間
過去 90 日間のデータになります。
右上にある [エクスポート] ボタンからデータをダウンロードできます。
長期に渡って分析する必要がある場合は、定期的にデータを保存してください。
今のところ、Search Console API では、クロールの統計情報のデータを取得できません。
ちなみに、僕のブログは性能アップしたサーバーに 9 月中旬に移行しました。
クロール リクエストが増えて⬆、平均応答時間が減りました⬇。
移行の効果が出ています。
こういう状況をデータで確認できるのも、クロールの統計情報レポートの便利な点です。
[ホストのステータス] は、過去 90 日間にそのサーバーで発生したクロールエラーをレポートします。
こちらのサイトは、今は大丈夫ですが、過去にしきい値を超えるサーバーエラーが発生していたことがわかります。
クロール リクエストの詳細では、次の 4 種類のレポートを確認できます。
- レスポンス別
- ファイル形式別
- 目的別
- Googlebot タイプ別
[レスポンス別] では、HTTP ステータスコード別の割合がわかります。
「OK (200)」が大半を示すのが健全な状態です。
各レスポンスを選択すると、詳細を見ることができます。
こちらは、「見つかりませんでした（404）」の詳細です。
404 ページへのクロールが大量にあれば調査が必要ですが、通常は、正常なページのクロールに影響を与えるほどではないはずです。
[ファイル形式別] はファイル形式ごとのクロール状況がわかります。
「シンジケーション」は RSS フィードや ATOM フィードのことです。
[目的別] の「更新」は再クロール、「検出」は新しい URL の発見です。
[Googlebot タイプ別] は、Googlebot の種類ごとのクロール状況です。
上のサイトは、モバイル ファースト インデックスに移行しているのでスマートフォン（用 Googlebot）のクロールが多いです。
PC（用 Googlebot）との割合は、およそ 8:2 になると言われており、だいたいそのとおりですね。
こちらは、モバイル ファースト インデックスに移行していないサイトの [Googlebot タイプ別] の状況です。
PC（用 Googlebot）のクロールの割合の方が多くなっています。
「画像」は Googlebot-Image（と通常の Googlebot）のクロール、「動画」は Googlebot-Video（と通常の Googlebot）のクロールです。
サイトによっては、ほかのリソースのクロールもレポートされます（たとえば、動的検索広告用の AdsBot）。
「ページ リソースの読み込み」は CSS や JavaScript など、そのページの完全なレンダリングに必要になるリソースの取得です。
特に大規模なサイトでは、クロールの統計情報レポートは重宝するでしょう。
クロールの統計情報レポートの詳しい見方に関しては、ヘルプ記事を参照してください。
包括的にとても丁寧に説明されています。