[対象: 初〜中級]
削除したURLの取り扱いに関する注意事項とベストプラクティスについて、Google社員のJohn Mueller（ジョン・ミューラー）氏が英語版の公式ヘルプフォーラムで説明しました。
理解しておくとサイト運営に役立つので紹介します。
削除されたURLについて知っておきたいこと
- URL削除ツールは、普段のサイトメンテナンスに使うツールではない。ツールに制限があるのは、1つはこれが理由になっている。
- URL削除ツールは、インデックスからURLを削除するわけではない。検索結果から非表示にするだけ。たいした違いではないが、削除リクエストしてもインデックス数に影響しないのは、1つはこれが理由になっている。
※鈴木補足: キャンセルすれば再登録できることからも分かりますね。 - robots.txtを使ってもコンテンツをインデックスから削除することはできない。しかし、再クロールしてそのコンテンツを見ることができなくなるから、通常は検索結果にもう出てこなくなる。
※鈴木補足: robots.txtでブロックしてもリンクが多く張られているとURLだけが検索結果に出てくることがあります。 - インデックスからURLを削除するには、GooglebotがそのURLをクロールする必要がある。noindex robots meta タグを見るか、404または410のHTTPステータスコードを返してもらわなければならない（あるいは別のURLへの301リダイレクトなど）。クロールするには、robots.txtでそのURLがブロックされていてはならない。
※鈴木補足: robots.txtでブロックしたURLにはアクセスしないので、タグを見ることができないしHTTPステータスコードを返してもらうこともできません。 - Googleは、404と410を通常は同じように扱う。わずかな違いがあるとすれば、再クロールによる確認を410は必要としないこと。そのため404よりほんの少しだけ早くインデックスから消える。実質的には、違いはたいしたものではない。しかし、本当に早く削除したいコンテンツに対して410を返すように設定できるならそうしたほうがいい。
※鈴木補足: 410エラーの設定はこちらの記事で。
大規模サイトでURLを削除した時に推奨される対処法
- robots.txtを使わない。
- 移動したコンテンツは301リダイレクトする。
- 削除したコンテンツは410を返す（または必要なら404）。
- クロール頻度は必ず「サイトに合わせて自動的に最適化する」に設定しておき、クロールを制御しない。
- URL削除ツールは、緊急性が高かったり、（見られたくないのに、検索結果で）目に触れるチャンスが多い問題に対してのみ使用する。
John Muellerの説明はもともとは、200万以上のURLを削除したのち80万以上のクロールエラーがウェブマスターツールに出たままで、URL削除ツールを使ったりrobots.txtでブロックしたり、いろいろなことをゴチャゴチャやってきたサイト管理者に向けてのアドバイスでした。
レポートから消えない404エラーは確かに気になります。
アクセスできるはずなのにクロールエラーを吐いているURLがあったとしたら、それは早急に対応する必要があります。
しかし、404エラーを出しているURLが確かに存在しないのであれば無視してかまいません。
本当に重大なクロールエラーだけがウェブマスターツールにレポートとして上がってくればいいのですが、どの404が重大でどのURLが無視できるかを自動で判断することはGoogleには簡単なことではないでしょう（それでもレポートでは、エラーの重要度が高い順に一応並んでいる）。
サイトのクロールやインデックス、ランキングに404エラーが悪影響を与えることはまずあり得ません。
「サイトのなかの内部リンクがリンク切れを起こしていて、ユーザーがクリックしたら404ページが表示される」、こんなケースであればユーザーエクスペリエンスの低下を招くのですぐに修正します。
でもそうではなくて、本当に存在しないページに対してGooglebotがクロールすることで生じるクロールエラーは放っておいて問題ありません。
404エラーの対処についてはこちらの記事も再確認しておいてください。