Google、スマートフォン用Googlebotのユーザーエージェントを更新

[レベル: 中〜上級]

Googleは、スマートフォン用Googlebotのユーザーエージェント (User-Agent, UA) を更新することをアナウンスしました。

Official Google Webmaster Central Blog: Updating the smartphone user-agent of Googlebot（原文）
Googlebot のスマートフォン用ユーザーエージェントの更新について（日本語訳）

スマートフォン用Googlebotの新しいユーザーエージェントは、2016年4月18日以降に稼働を開始する予定です。

Googleによれば、ユーザーエージェントの変更によって99%のサイトは影響を受けないだろうと予想されるとのことです。
したがって、ほぼすべてのサイトで対応は不要でしょう。

旧UA vs. 新UA

現在、スマートフォン用Googlebotは次のユーザーエージェントを使用しています。

Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

新しく使われるスマートフォン用Googlebotのユーザーエージェントは次のように変わります。

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

いちばん目立つ違いは、iPhone が Android に変わったことと、Safari が Chrome に変わったことですかね。

変更の理由をGoogleは次のように説明しています。

Google のレンダラーは進化を続けており、今回のユーザーエージェント文字列の更新は、レンダラーが Safari よりも Chrome により近づいていることを示しています。

Fetch as Googleも新UAをサポート

スマートフォン用Googlebotの新しいユーザーエージェントにともない、Fetch as Googleでは新しいバージョンでクロールを検証できるようになっています。

スマートフォン用Googlebotの新しいバージョンでFetch as Google

過去の取得分のGooglebotの種類は、自動的に「モバイル: スマートフォン – 現在のバージョン」に変わっています。
4月18日以降は「モバイル: スマートフォン – 以前のバージョン」になるんですかね？

なお新しいバージョンでFetch as Googleを実行すると、サーバーのログファイルには新しいユーザーエージェントがきちんと記録されます。

99%のサイトには影響なし

公式アナウンスは次のように述べています。

Google の評価によると、今回のユーザーエージェントの変更は 99% のサイトで影響がない見込みです。

通常は、Googlebotを特定したユーザーエージェントによる振り分けを利用すべきではありません。
Googlebotとユーザーに対して異なるコンテンツを提供した場合、クローキングとしてガイドライン違反になる危険があるからです。

ユーザーエージェントに応じて振り分けているモバイル構成のサイトであっても、iPhoneを条件指定していればGooglebotはモバイル向けページにアクセスします（今後は、Androidを条件指定していればOK）。

振り分けに限らず、もしGooglebotのユーザーエージェントを特定して何かしらの操作を行っているのであれば注意してください。

とはいえ、Googleが言うように、ほぼすべてのサイトにおいて、今回のユーザーエージェントの更新は直接的に影響しないでしょう。

念のため、「新しいバージョン」を選択したFetch as Googleで、いくつかのページを対象にしてレンダリングしてみるといいかもしれません。
新しいユーザーエージェントであっても適切にレンダリングされることを確認できます。