[対象: 初級]
すでに削除したURLに対して大量のクロールエラー(404エラー)がGoogleウェブマスターツールで記録されたとしても、サイトのクロールとインデックス、ランキングに何らかの悪影響が発生することはまずありえません。
英語版のGoogleウェブマスター向け公式ヘルプフォーラムでGoogle社員のJohn Mueller(ジョン・ミューラー)氏が次のように説明しています。
存在しないURLをリンクが指し示しているとするなら、リンク切れの数はサイトのクロールとインデックス、ランキングに通常はまったく影響しない。ほんの少しであっても何百万であってもだ。
リンク切れがあったからといってサイトの質が低いとみなすことにはならない(存在しなくなったURLを技術的に適切に処理しているのだからむしろいい証拠なのかもしれないと個人的には思ったりもする)。
404や410のクロールエラーがサイトのクロール頻度に悪い影響を及ぼすこともないだろう。404や410へのリクエストは通常のリクエストよりも少しだけ速くレスポンスをサーバーが返すこともあり得るからクロール頻度が増すことさえあるかもしれない。
注意する点もある。クロールエラーを起こしているリンクが正常なページに対して張られていたとしたらもちろん、そのリンクは機能しない。したがって正常なコンテンツを私たち(Google)が発見しにくくなる。
言い換えるなら、正しいURLではなく間違ったURLに内部リンクしているならそれは修正しなければならないだろう。
「通常は」と言ったのは技術的なものであって大多数のウェブサイトが気にかけなければならないものではない。具体的に言うと、サーバーやサイトに負荷をかけすぎることを防ぐためにサーバーあたりのクロールを私たちは制限しようとする。
価値のあるURLの代わりに不適切なURLをクロールすることになったらその価値のあるURLを再クロールするのにより長い時間がかかってしまうことがあるかもしれない。存在するかどうかを念のため再確認しようとするURLよりもすでに知っている正常なURLを優先するから、これは問題にはならないだろう。正常なURLを依然として普通にクロールするだろうしそれとは別に、そういった余分なURLをなんとかして処理するだろう。
万が一、いくつかの正常なURLのクロール頻度がほんの少し落ちることがあったとしても通常はインデックスとランキングには影響しない。
「ウェブマスターツールに404エラーが出ていてなかなか消えなくてどうしたらいいのか?」という質問は日本のヘルプフォーラムでもたびたび投稿されます。
自分で削除したことをきちんと認識していていたり自分が管理していない外部サイトから張られたりしているURLに対してクロールエラーを起こしているのであれば無視して構いません。
Googlebotは、404や410のHTTPステータスコードを返すURLであっても半永久的にクロールし続けます。
復活している可能性があるためときおり確認しにやってくるのです。
頻度は次第に下がってくるでしょうがそれでもクロールをやめません(「削除」を意味する410は「見つからない」を意味する404よりも多少は頻度が下がるようだけどそれでも完全にクロールをストップしない)。
ページやサイトがなくなった、URLが変わったのようにそれまで存在していたページがなくなってリンク切れが発生するのことはウェブではごくごく当たり前に起こります。
これはGoogleも十分承知していることです。
出る原因が分かっていてかつそれが妥当な理由によるもので修正する必要がないのであれば、404エラーはそのままにしておいて大丈夫です。
サイトに悪い影響が出てGoogleの評価が下がることもありません。
正常なURLに対するクロール頻度には支障が出るかもしれないと僕は思っていたのですがそれも心配いらないようですね。
ましてペナルティを受けるなんて絶対にありません。
もっともURLの記述ミスで内部リンクがリンク切れを起こしているのであれば、ユーザーにとって不親切なのですぐに修正しましょう。
またユーザーが戸惑わないようにカスタム404エラーページを準備しておくこともユーザーエクスペリエンスを高めることに繋がりますね。
間違っても存在しないページをトップページに301リダイレクトしたりソフト404を返したりしないように注意してください。
またウェブマスターツールからエラーレポートを消そうとしてURL削除ツールを使うのも間違った使用方法です。
こちらの公式ブログの記事も読んでおきましょう。