[レベル: 初〜中級]
noindex robots meta タグが記述されたページはクロール頻度が通常のページよりも低くなります。
404ページと同様で、検索結果に表示するページではないとGoogleが判断しているためです。
noindexページのクロール頻度は低い
英語版のウェブマスター向けオフィスアワーで、次のような質問が投稿されました。
noindexがあるURLはインデックス可能なページよりもクロール頻度が低くなるのか?
GoogleのJohn Mueller(ジョン・ミューラー)氏はこのように回答します。
低くなる。通常は、普通にインデックスできるURLよりも多少低い頻度でnoindexのURLをクロールしようとする。
404ページと同じようなもので、検索結果に表示できないページだと私たちはわかっている。
ときどき試しにクロールしようとするが、普通のページと同じような頻度ではクロールしない。
noindexを解除したらFetch as Googleかサイトマップで再クロールを促す
noindexが記述されたページのクロール頻度が低いことを僕はなんとなくわかっていたのですが、Googleの人がはっきり言っていたのを聞いたことがなかったので取り上げました。
noindexページは、404ページと同じで検索結果には表示しないページです。
404ページがクロールされないのと同様にnoindexもクロールされなくなります。
しかし、noindexが解除されているかもしれません(404なら、その404は一時的なもので復活しているかもしれない)。
したがって未来永劫クロールを止めるのではなく、状態が変わっていないかどうかを確認するためにときおりクロールを試みます(Search Consoleのクロールエラーレポートに404が再出現することがある理由)。
とはいえ、通常ページほど頻繁にはクロールしないということですね。
もしnoindexを解除したのであれば、少しでも早くインデックスに復帰させるために、Googlebotの再クロールを促したいところです。
ページの数が少ないのなら、Fetch as Google実行後に「URLをインデックスに送信」するといいでしょう。
ページ数が多い場合は、lastmod
を指定したサイトマップ送信が楽でしょう。