[レベル: 中級]
「ステージング サイト (staging site)」がインデックスされた場合の対処方法およびインデックスを事前に防ぐための TIPS を Google の John Mueller（ジョン・ミューラー）氏が Google+ で共有しました。
ステージング サイトとは、検証用・開発用のサイトです。
一般公開に先立って、テストのため開発関係者だけにアクセスを許可するために用います。
この記事では、ミューラー氏による解説をわかりやすく編集して紹介します。
ステージング サイトを検索から削除する最速の方法
インデックスされてしまったステージング サイトを検索結果から取り除くには、Search Console の URL 削除ツールを使うのが最も速やかに対処できる方法です。
サイト全体をURL 削除ツールから検索結果から削除することができます。
ただし、URL 削除ツールを使うためには Search Console でサイト確認しなければなりません。
サイト確認するということは、Google にアクセスを許可しなければなりません。
Google のクロール・インデックスを拒否したいのに、サイト確認のために許可しなければならないというのは皮肉な操作とも言えます。
URL 削除ツールからの削除リクエストは90日間有効です。
この期間が切れる前に、ステージング サイトが再びインデックスされないように対策を練ることが大切です。
ステージング サイトのインデックスを防ぐ方法
ステージング サイトがインデックスを防ぐ方法として、ミューラー氏は次の2つを推奨しています。
- サーバーサイド認証
- IP アドレス制限
サーバーサイド認証
サーバー側で HTTP で定義された認証を設定します。
アクセスするには、ユーザー名とパスワードが必要になります。
[※鈴木補足: Basic 認証が簡単ですが、ID/パスワードが平文で送信されます。盗聴を防ぐために HTTPS は必須です。]
IP アドレス制限
ステージング サイトにアクセスできるコンピュータを IP アドレスで許可します。
ただし、端末の IP アドレスは変わることがあるし、たとえば自宅にある PC からはアクセスできないなど設定が煩雑になるかもしれません。
サーバーサイド認証と IP アドレス制限の代わりに noindex robots meta タグや robots.txt でもインデックスを防ぐことも可能です。
しかし、これらの方法はあまりお勧めできません。
noindex robots meta タグ
noindex robots meta タグはアクセス制限ではなく、検索結果から非表示にするための仕組みです。
URL を発見されてしまえば、競合やスクレイパー（ロボット、クローラ）など第三者によってアクセスされてしまいます。
robots.txt
robots.txt は、ステージングサイトから公開サイトへ環境を移す際に注意が必要です。
公開サイトでも、検索エンジンのクロールを同じようにブロックしたままだと、今度は検索結果に表示されなくなってしまうでしょう。
公開サイトでは、ブロックを必ず解除します。
[※鈴木補足: 検証用サイトで使っていた robots.txt を本番環境にもそのまま使ってインデックスされないというのはありがちなミスです。noindex タグにも同様のことが言えます。]
また、robots.txt はクロールを拒否する仕組みであって、検索結果への非表示を実行する仕組みで貼りません。
robots.txt でブロックした URL であっても検索結果に表示されることがあります。
URL 削除ツール以外の方法は時間がかかる
URL 削除ツールを使わない方法はどれであっても、検索結果から消えるには時間がかかります。
ページ単位の処理となり、それぞれの URL に再クロールが必要です。
一般的には、ステージング サイトを重要なサイトだと Google はみなしません。
そのためクロール頻度が少なくなります。
サイト内のすべての URL が再クロールされるまでに、数か月、半年、それ以上かかることもありえます。
URL 削除ツールを使えば、インデックス削除に要する時間を短縮できます。
90日が経過しても、再リクエストすれば削除状態を延長することも可能です。
以上です。
企業用のサイトでは、リニューアルや CMS乗り換え、新機能導入、HTTPS移行などさまざまな種類の変更のために開発・検証用にステージング サイトを利用することは一般的でしょう。
個人サイトでも、ステージング サイトを使うことは珍しくないはずです。
一般ユーザーにアクセスさせる必要がない（アクセスさせてはいけない）ステージング サイトが検索結果に出ないようにきちんと設定しておきましょう。
万が一、インデックスされてしまったときは、URL 削除ツールで速やかに消し去りましょう。