[レベル: 上級]
クローラーに関するドキュメントを 2023 年 5 月に Google が再構成した際に、GoogleOther というユーザーエージェントのクローラーが追加されました。
この GoogleOther とはいったい何をしているクローラーなのでしょうか？
オプトアウトしても問題ないのでしょうか？
汎用的なクローラー、ブロックしても検索には影響なし
2024 年 7 月の英語版オフィスアワーで次の質問が取り上げられました。
GoogleOther は検索以外のどのような機能をサポートするのですか？
Gary Illyes（ゲイリー・イリース）氏は、このように回答します。
非常にタイムリーな質問だ。いい質問だと思う。
でも公開されている情報以外に共有できる情報はないんだ。
GoogleOther は、サイトから公開されているコンテンツをさまざまなプロダクトチームが取得するために使用される汎用的なクローラーだ。たとえば、社内での研究開発のための単発的なクロールに使用されることがある。
以前は Googlebot が使われていたが、少し分かりにくく透明性が低いため、GoogleOther を導入した。これにより、どのような目的でサイトがクロールされるかをより細かく制御できるようになる。
とはいえ、GoogleOther は単一のプロダクトに紐づいていないため、GoogleOther のクロールをオプトアウトすると、Google 全体の広範囲に影響を与える可能性がある。ただし、検索には影響がない。検索は Googlebot のみが担当する。
GoogleOther は特定の用途向けに作られたクローラーではなく、検索以外の目的で都度使用されるクローラーとのことです。
robots.txt でクロールをブロックしたり noindex でインデックスを拒否したりしても、検索に限っていえば影響は出ないようです。
ただし、検索以外の Google のプロダクトやサービスには影響が出るかもしれません。
具体的にはどんなプロダクトでしょうか？
ちょっと思い付きません。
GoogleOther によるクロール頻度が過多でサーバーに負荷がかかっていると相談されたことがあります。
検索に悪影響を与えるかもしれないため、GoogleOther のブロックを控えていたのですが、ブロックしてもとりあえず検索においては問題は起きなさそうです。