[レベル:初〜中級]
意図せず、検索結果に表示したくないページが表示されてしまった場合はGoogleウェブマスターツールの「URL削除ツール」を使って検索結果から消すことができます。
このURL削除ツールを、Googleウェブマスターツールのクロールエラーでレポートされる404エラーページを消すために使ってはいけません、というのが今日のトピックです。
英語版のGoogleウェブマスター向け公式ヘルプフォーラムで、大量のページを手動で削除した後 URL削除ツールから削除リクエストしたら上限に達してしまったというウェブマスターからの投稿に対して、Google社員のJohn Mueller(ジョン・ミューラー)氏が次のように注意を促しました。
404を返す古いページのようなエラーを取り除くためにURL削除ツールを使うことを私たちは勧めていない。(コンテンツが返ってきたり、そのページへのリンクを発見したりした場合は)404エラーページをクロールし続ける。しかし通常は、最終的にはだんだんとクロールしなくなっていく。
参照元としてミューラー氏がポイントしたヘルプには、そのとおり次のように書かれています。
※これ以外にも、今日のトピックと直接関係しない、使ってはいけないケースがあるのでヘルプページで確認しておいてください。
URL 削除ツールは、誤って機密情報が公開されているページなど、すぐに削除する必要があるページに使用します。他の目的でこのツールを使用すると、サイトに問題が発生する可能性があります。
「他の目的でこのツールを使用すると、サイトに問題が発生する可能性があります」なんて脅してますが、どんな問題が発生するのでしょうか。
キャプチャでは省略したケースの、昔スパム判定されていたドメインのリセットに用いたり、ハッキングされたサイトの対処で利用したり、http/httpsとwwwあり/wwwなしの正規化で使ったりする場合には、確かに問題が起こりそうです。
404エラーが発生していることでランキングやクローリング、インデックスにマイナスな影響が出ることは通常ないので、僕は無視しています。
でも以前は404エラーがレポートされるたびに、URL削除ツールで削除リクエストを送っていたものです。(汗
送ったことでマイナスな影響を受けたとは感じていませんが、これはURL削除ツール本来の使い道ではなかったんですね。
個人情報が出てしまっているような至急消す必要がある場合でなければ、404エラーを返したままにしておけばいいということになります。
あるいは完全削除を意味する410エラーを返すようにしておけばより速く処理されます。
URL削除ツールに頼るべきでないということです。
Googleウェブマスターツールで404エラー(見つかりませんでした)が出ているときは、存在しないそのページリンクしているページのリンクURL記述をチェックすることも忘れてはいけません。
Googlebotがそのリンクをたどって存在しないページにアクセスを試みてしまいます。
P.S.
Googleウェブマスターツールの404エラーレポートは特に問題がないようなら無視していいのですが、なかなか消えないことが稀にあるのが厄介なところです。