[レベル: 初級]
Search Console のページ インデックス レポートに「検出 – インデックス未登録」が報告される原因を Google の Martin Splitt（マーティン・スプリット）氏が YouTube で説明しました。
即座にはクロールしない
ページをインデックスするには、まず Googlebot が URL を発見（検出）する必要があります。
リンクやサイトマップなどによって、Googlebot はリンクを発見します。
発見したリンクはクロールキューに入れられ、クロールの順番待ち状態に入ります。
発見して即座にクロールが実行されるわけではないので、「検出 – インデックス未登録」そのものに問題はありません。
普通に起こる状態です。
時間がかかっているだけで、最終的には、Googlebot がクロールするようになるかもしれません。
クロールしたものの、まだインデックスされていない状態が「クロール済み – インデックス未登録」です。
「検出 – インデックス未登録」が続く理由
しかしながら、発見されているのにクロールされない「検出 – インデックス未登録」がいつまで経っても解消しない URL が存在します。
URL は発見されたのにクロールしてもらえない状態です。
これには、大きく分けて 3 つの理由が考えられます。
- Googlebot の作業負荷
- サーバーの過負荷
- 低品質なコンテンツ
Googlebot の作業負荷
Googlebot が他の URL のクロールでビジー状態のため、まだ URL をクロールする時間がなかった可能性があります。
これは時間と忍耐の問題で、いずれ解消します。
サーバーの過負荷
Googlebot が複数のページを同時にクロールしようとしたときに、サーバーの速度が低下したり過負荷になったりすると、問題を回避するためにサイトのページのクロールに長い期間がかかる場合があります。
HTTP 500 エラーが発生していないかを確認します。
これは通常、非常に多くのページ（数百万ページ以上）を持つサイトにのみ関係しますが、小規模サイトでも発生する場合がないわけではありません。
低品質なコンテンツ
低品質または薄いコンテンツのパターンがページに検出された場合、それらのページはインデックスから削除され、「検出済み」状態のままになる可能性があります。
Googlebot はこれらのページを認識していますが、インデックスしないことを選択します。
低品質コンテンツは発見してもクロールしない
3 つ目の理由が最近、増えている状況です。
低品質なコンテンツは、たとえ発見しても Googlebot はクロールしません。
もう少し詳しく説明します。
- 低品質または内容の薄いコンテンツのパターン: Google 検索で、サイトに低品質または内容の薄いページが多数あることが確認された場合、それらのページはインデックスから削除される可能性があります。ページは「検出済み」状態のままです。つまり、Google はそれらのページを認識していますが、検索結果には含めないことを選択します。
- 低品質なコンテンツへの URL のスキップ: Google がサイト上で低品質なコンテンツにつながる URL のパターンを検出した場合、それらの URL のクロールを完全にスキップし、「検出済み」状態のままにする可能性があります。
「URL のパターン」についてスプリット氏は深掘りしていませんが、要は低品質コンテンツのページの URL に一定のパターンが認められる場合は、その URL のコンテンツは低品質であると（中身を見る前に）事前に察知し、インデックスもクロールもしません。
いわば、門前払いです。
インデックスはおろかクロールすら、リソースの無駄と判断するのです。
URL のパターンにはドメイン名だけではなくディレクトリも含まれます。
つまりサイト全体として低品質コンテンツの温床と認識される場合もあれば、サイトの一部のセクション（共通のディレクトリが URL に含まれる）だけが低品質コンテンツの集まりと認識される場合もあります。
低品質コンテンツをクロールさせるには
低品質コンテンツをクロール、インデックスさせるための手段として次の 2 つをスプリット氏は提案しています。
- コンテンツの品質向上
- 内部リンクの設置
言うまでもなく、真っ先に取り組まなければならないのはコンテンツの品質改善です。
こちらのドキュメントが役立ちます。
もうひとつ、スプリット氏がアドバイスしたのは、内部リンクによって既存のコンテンツの他の部分と関連付けるようにすることです。
外部リンクだけではなく内部リンクも評価にかかわってきます。
関連性と重要性を伝えるために内部リンクが役立つということでしょう。
内部リンクの最適化については、別の動画でスプリット氏が解説しています。
「検出 – インデックス未登録」をスプリット氏が解説する動画を埋め込んでおきます。
英語が苦手であれば、日本語翻訳の字幕を利用してください。
#SEO #SearchConsole #インデックス未登録