[レベル: 初級]
パソコン用 Googlebot によるクロールを 2024 年 7 月 5 日以降に Google が完全に終了することを数日前に伝えました。
この決定に関して誤解があるようなので、この記事で補足します。
モバイル ファースト インデックスとモバイルフレンドリーは別モノ
誤解というのは、具体的には「スマホ対応していないサイトは、Google にインデックスされなくなる」という解釈です。
パソコン用 Googlebot によるクロールを停止し、100%、スマートフォン用 Googlebot のクロールになるというのは（一部例外はあるものの）、いわばモバイル ファースト インデックスの最終系です。
一方、スマホ対応は、Google 検索用語でいうと「モバイル フレンドリー」です。
モバイル ファースト インデックス (Mobile First Indexing) とモバイル フレンドリー (Mobile Friendly) は別モノです。
まず、Gary Illyes（ゲイリー・イリース）氏の LinkedIn でのコメントを紹介します。
7 月 5 日以降も、モバイルフレンドリーでなくても Google 検索にインデックスされる。
Googlebot がサイトに全くアクセスできない場合（ネットワークエラーやHTTPエラーなど）は、これまでと同様、Google 検索にインデックスされない。これは今後も変わらない。
7 月 5 日以降の変更点は、Googlebot のスマートフォン ユーザーエージェントがサイトにアクセスできる必要があるという点だ。この場合、サイトがモバイルフレンドリーであるかどうかは関係ない、もちろん、モバイルフレンドリーであればなお良いが。
次は、僕の X での説明を載せます。
ちょいとややこしいけど、モバイルフレンドリー（スマホ対応）と、モバイルファーストインデックス（MFI）は、まったく別モノ。
今回のMFIのスマホGooglebotによる完全クロールで問題になるのは、PC向けサイトで配信しているコンテンツや要素をスマホ向けサイトでは配信していない場合。
（続く） https://t.co/E1HHXt5AD1— Kenichi Suzuki💫鈴木謙一 (@suzukik) June 3, 2024
PCでは見られるのにスマホでは見られないコンテンツ（たとえば、画像）があった場合、スマホGooglebotもそのコンテンツを認識できないのでクロールせず、インデックスもせず、ランキングの評価対象にもならない。
（続く）— Kenichi Suzuki💫鈴木謙一 (@suzukik) June 3, 2024
仮に、スマホ向けサイトを提供しておらず、スマホにもPCサイトを配信していたとする。スマホGooglebotはPC向けサイトをクロールするだけの話。インデックスするし、PC向けサイトがランキングの評価対象になる。
スマホ対応していなくても、インデックスから消えることはない— Kenichi Suzuki💫鈴木謙一 (@suzukik) June 3, 2024
📱モバイルフレンドリー → ランキングプロセス📈
📱MFI → クローリングプロセス🤖— Kenichi Suzuki💫鈴木謙一 (@suzukik) June 3, 2024
たとえば、ある EC サイトが、PC 向けサイトだけで解像度の高い大きな商品写真を掲載していたとします。
しかしスマホでは、スクリーンサイズが小さいし、読み込みに時間がかかるため、その画像を配信していません。
つまり、ユーザーが PC でアクセスしたときはその商品画像を見られるけれど、スマホでアクセスした場合は見られません。
そして、この画像が画像検索で上位表示していたとします。
モバイル ファースト インデックス（面倒なので、以下 MFI）を適用すると、その画像はクロールされなくなります。
スマートフォン用 Googlebot にはその画像は配信されないからです。
クロールされなければ当然インデックスされなくなります。
結果的に、画像検索にその画像は出てこなくなります。
📝すずき注：あくまでもイメージしやすくするための例。実際にはそうならないかもしれない
しかしながら、こんなふうに MFI に移行してしまうと検索結果に悪影響が出るサイトに対しては、救済処置として、パソコン用 Googlebot によるクロールを今でも継続しています。
ところが、7 月 5 日以降は、パソコン用 Googlebot のクロールというこの救済処置は終了し、スマートフォン用 Googlebot のクロールに切り替わります。
画像検索にその画像はもはや出なくなるでしょう。
もっと極端な例として、モバイル向けサイトのページにはすべて noindex を設定していたとします。
それでもパソコン用 Googlebot は、普通にクロール/インデックスできるので、検索結果にそのサイトは出てきます。
しかし、7 月 5 日以降は、スマートフォン用 Googlebot しかクロールしなくなります。
noindex ページをクロールするので、今後そのサイトは検索結果には出てこなくなるでしょう。
これが、MFI の完全なスマートフォン用 Googlebot によるクロールによって起こりうる悪影響です。
別の例に移ります。
スマホ向けサイトを作っておらず、PC 向けサイトしか持っていないとします。
スマホでアクセスしても PC 用のページが表示されます。
とはいえ、スマホと PC で異なるコンテンツ（もっと正確には HTML や CSS、画像・動画などのメディア）を配信してはいません。
スマホユーザーと PC ユーザーは完全に同じページを見ています。
このケースでは、このサイトはモバイル フレンドリーではありません。
しかし、スマートフォン用 Googlebot は問題なくクロールできます。
モバイルフレンドリーではありませんが、MFI に切り替わったとしてもインデックスから消えることはありません。
クロールに関しては、スマートフォン用 Googlebot がクロールできさえすれば、モバイルフレンドリーかどうかは関係ないのです。
📝すずき注：ただしランキングに関しては、モバイルフレンドリーではないことが理由で、モバイル検索では評価が下がることはありうる。これはまた別のお話
まとめると、スマートフォン用 Googlebot のみのクロールによる MFI への完全な移行で悪影響が出るのは、スマホ向けサイトと PC 向けサイトで、配信内容に著しい差異があるサイトです。
モバイルフレンドリーではなくても、同じコンテンツを配信していれば影響はありません。
📝すずき補足：一部のメニューを省略しているとか、広告を配信していないとか、ランキングには影響しないであろう些細は違いは問題ない
スマホがこれだけ普及している現在、スマホユーザー向けにサイトを構成しているはずです。
スマホユーザーに制限をかけているサイトがあるようには思えません。
したがって、管理されている限りは MFI 完全移行で影響を受けることはないと考えていいでしょう。