[レベル: 中級]
Google は、大規模なサイト所有者向けのクロール バジェット管理ガイドのドキュメントで、クロール対象の URL 発見についてのセクションを更新しました。
モバイル向けページと PC 向けページを別 URL で配信しているサイトが関係する更新です。
モバイル向けページにもすべてのリンクを設置する
新しいページや更新したページが確実にクロールされるための構成として、次の推奨がドキュメントに追加されました。
サイトでモバイル版と PC 版に別々の HTML を使用している場合は、PC 版と同じリンクセットをモバイル版にも提供してください。モバイル版で同じリンクセットを提供できない場合は、サイトマップファイルに含めるようにしてください。Google はモバイル版のページのみをインデックスに登録するため、モバイル版に表示されるリンクを制限すると、新しいページの発見が遅くなる可能性があります。
モバイル版とデスクトップ版で別々の HTML を使用している大規模なウェブサイトの場合、デスクトップ版にあるすべてのリンクがモバイル版にも含まれていないと、新しいページの発見が遅れるということです。
ウェブサイトをクロールするのはスマートフォン用 Googlebot
2023 年 10 月末に Google は、モバイル ファースト インデックスへの移行を完了しました。
続いて、2024 年 7 月には、パソコン用 Googlebot によるクロールを完全に終了しました。
つまり現状では、スマートフォン用 Googlebot がクロールするスマホ向けページにリンクが存在しないと、そのリンク先ページの URL を Google は発見できません。
結果としてクロール対象になりません。
クロールされなければ当然インデックスされないし、インデックスされなければ検索結果に出てくることもありません。
スマホ向けページでのリンクの省略は、モバイル ファースト インデックスへ移行できない原因として Google が頭を抱えていた構成の 1 つでした。
現在は、こうした構成のサイトでも強制的にモバイル ファースト インデックスが適用され、スマートフォン用 Googlebot がクロールしています。
PC 向けページに設置しているリンクを、スマホ向けページで省略しているサイトでは、URL の発見とクロールに支障が出る場合があります。
スマホ向けページにも、基本的には PC 向けページと同じリンクを設置してください。
なお、冒頭でも触れたように、特に、別々の URL でスマホ向けサイトを構成している大規模サイトに対する注意喚起です。
大規模サイトであっても、現在主流のレスポンシブ ウェブ デザインのサイトには関係ありません。
📝すずき補足：レスポンシブ ウェブ デザインで、初期状態で表示上はリンクを隠していても HTML に存在していれば問題ない