[対象: 初級]
サイトのリニューアルに伴ってURLを変更しました。
サイトマップを送信して新しいURLはインデックスされました。
URL削除ツールで300以上の古いURLの削除をリクエストしたのですが、site:で検索するといまだに2,000以上のURLが残っています。
site:で出てきた古いURLを1つ1つ手動で削除リクエストしていて大変です。
古いURLを完全に消去して新しいURLをインデックスさせるにはどうしたらいいですか。
こんな質問が、英語版のGoogleのウェブマスター向け公式ヘルプフォーラムに投稿されました。
GoogleのJohn Mueller（ジョン・ミューラー）氏が次のアドバイスを返しています。
URL削除ツールは、今回のサイトのリニューアルのような通常のメンテナンスに使うためのものではない。このケースでは使用はやめたほうがいい。
実際には、サーバー側で解決する必要がある。変更になったURLを301リダイレクトし、今は無効になったURLには404か410を返すようにすることが最もいい解決方法だ。
追加として次の情報も提供しておく。
404とは若干異なるように410を我々（Google）は処理するが、私なら違いを気にしない。変更になった個々のURLに対して完璧なリザルトコードを生成するのに開発者が苦労するなら、404でも410と同等に働く（が、結果が目に見えるまでには、404のほうがほんの少しだけ時間がかかるかもしれない）。
クロールとインデックスには時間がかかる。検索結果から完全に削除されるまでには、数ヶ月、ひょっとしたら1年もかかることも珍しいことではない。
リダイレクトが適切に設定されいるのであれば、古いURLが残っていることにユーザーは気付かないはずだ（正しいURLに転送されもする）。
したがって、少なくとも一般ユーザーが使うことがないような、「site:」「inurl:」「filetype:」構文を用いた、それを調べるためだけの“人工的な”クエリで古いURLが出てきたとしても、やきもきすることはない。
ポイントをまとめると次のようになります。
- URLの変更には301リダイレクトを使う
- リダイレクト前や削除後の古いURLに対してはURL削除ツールを使わない
- なくなったURLには404を返す（410とほぼ同じように働く）
- 検索結果から消えるには長い時間がかかることがある
- 一般のユーザーが実行しないような検索で出てきても気にしない
僕のブログの常連読者にとっては、何度も聞いたことがある注意事項のはずです。
まったく目新しい情報ではありません。
（なので、この記事の対象は「初級」に設定）
ですが、似た趣旨の質問が英語版・日本語版を問わずヘルプフォーラムには絶えず投稿されます。
知らないとわからないことだというのは、理解できなくはありません。
削除したURLやリダイレクト前のURLの状態が検索結果に反映されるまでにかかる時間は、URLのタイプにも大きく依存します。
トップページや特にリンクが集まっている個別ページはクロール頻度が高いので、速やかに更新されるのが普通です。
しかし、月別のアーカイブページやページネーションしたずっと後ろの方のページのように、1、2ヶ月に1回くらいしかクローラが回ってこないようなURLではなかなかインデックスから消えないこともあります。
これはもうジタバタせずに、そういうものだと割りきってやっていくしかありませんね。
ミューラー氏が指摘するように、消えないURLを探すための検索を実行するのはあなただけであって、ユーザーは実行しません。