Bingクローラのユーザーエージェント名が msnbot から bingbot へ

Microsoftが検索サービスのブランドをMSNからLive Search、Live SearchからBingに変更してもロボット(ユーザーエージェント)の名前はmsnbotのままでした。

しかしBingという新しいブランド名を反映させるために名前が変わると公式アナウンスが出ています。

新しいユーザーエージェント名は、bingbot になります。

Microsoftの検索エンジンのロボットは2008年にmsnbot/2.0bにバージョンアップしていますが、ソフトウェアが切り替わったということではなく単に名前の変更ということのようです。

サーバーのログには次のように現れます。

Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

HTTPヘッダーのFromフィールドは次のようになります。

From: bingbot(at)microsoft.com

ユーザーエージェントの名前が変わると、robots.txtや.htaccessなどでマイクロソフトの検索エンジンを特定しているサイトでは書き直しが発生しそうに思ってしまいます。

ですが、bingbotはmsnbotを対象に指示した命令にも従うそうです。
よってrobots.txtの修正は不要です。
(※追記:.htaccessは修正が必要です)

面倒な作業に迫られることがなくてよかったですね。

なおbingbotへのユーザーエージェント名称変更はまだ先の話で、2010年10月1日から切り替わる予定です。

Bingのクローラはインデックスするページ数やスピード能力が低いことが指摘されていましたが、状況は徐々に改善してきているようです。

僕が管理している小さなサイトの1つは被リンクが少ないせいもあってか、公開後ずっとトップページしかインデックスされていなかったのですが、今は全ページインデックスされています。

継続して行っている検索UIの改良完全刷新のBing Webmaster Toolsなど、Microsoftは検索ビジネスへの力を入れた取り組みを続けているようです。