[対象: 中級〜上級]
Googleは、スマートフォン向けのクローラが使用するUser-Agent（ユーザーエージェント、以下「UA」）を変更する予定であることをアナウンスしました。
これまでは、スマートフォン版クローラのUAとして「Googlebot-Mobile」をGoogleは使っていました。
これを、標準のウェブ版クローラと同じ「Googlebot」に今後3〜4週間後に切り替えます。
スマホ版Googlebotの新しいUser-Agent
スマートフォン版Googlebotの新しいUAは以下のようになります。
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
従来は以下のUAでした。
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
太字で強調した「Googlebot」と「Googlebot-Mobile」の部分が異なっています。
ウェブ版Googlebotとフィーチャーフォン版Googlebot-Mobileは変更なし
通常のウェブページをクロールする標準のGooglebotと従来型携帯電話であるフィーチャーフォン（いわゆるガラケー）向けのGooglebot-MobileのUAに変更はありません。
- 標準のウェブ版GooglebotのUser-Agent
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) - フィーチャーホン版Googlebot-MobileのUser-Agent（2種類）
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
UA変更の理由
スマホ版GooglebotのUAを変更した理由をGoogleは次のように説明しています。
フィーチャーフォンとスマートフォン向けのコンテンツをクロール・インデックスするのに、異なるクローラをここ何年もGoogleは使用してきました。これらのモバイル専用のクローラはすべて Googlebot-Mobile として表されています。
しかしフィーチャーフォンとスマートフォンとでは端末の機能に大幅な差異があります。また、フィーチャーフォンのクロール・インデックスだけを本当はブロックしたいのに、気付かずに、スマートフォンのクロール・インデックスをブロックしてしまうウェブマスターたちを見てきました。
こうした曖昧さが原因で、あるサイトではGoogleが、スマートフォン向けのコンテンツをインデックスできなくなってしまったり、スマートフォン向けに最適化されたサイトであることを認識できなくなってしまったりしています。
一言で言えば、スマートフォンとフィーチャーホンは違うのに、どちらも Googlebot-Mobile を用いてきたために問題が起きていたためです。
明確に区別できるようにしました。
UA変更に伴う注意点
スマホ版の新しいUAは、Googlebot-Mobile ではなく Googlebot ととして robots.txt や noindex robots metaタグ、グーグル、HTTPヘッダーの指示に従います。
たとえば、下のrobots.txtは、新しいスマホ版クローラや標準のウェブ版クローラ、フィーチャーフォン版クローラを含むすべてのGoogleのクローラのクロールをブロックします（UAに「Googlebot」が含まれるクローラすべて）。
User-agent: Googlebot
Disallow: /
下を指定した場合は、フィーチャーフォン版Googlebot-Mobileだけをブロックします。
スマホ版クローラはブロックしません。
User-agent: Googlebot-Mobile
Disallow: /
デバイスに応じて（クローラに応じて）、クロールやインデックスを制御することは普通は不要です。
思いつきでやると逆にトラブルの原因になります。
しかし目的と動きを完全に理解したうえで制御する際には、UAの指定が正しいことを確実にしておきましょう。
UA判定によって振り分けしている構成も注意が必要です。
スマートフォンの振り分けに Googlebot-Mobile をもし含めていたら、フィーチャーフォン版クローラをスマ向けホサイトに送ってしまいます。
もともと、UAの振り分けにGoogleのクローラを指定する必要はありません。
Googlebotは、スマホであればiPhoneを、フィーチャーフォンであればdocomoやSAMSUNの端末を偽装して適切なコンテンツをクロール・インデックスしようとします。
今回のUA変更によって影響を受けるURLは、0.001%未満とのことなので、大多数のサイトでは特別な対応をとらなくても大丈夫なはずです。
それでもGooglebotのUAに基づいた設定をしているのであれば問題が起きないか、念のためチェックしておきましょう。