[レベル: 上級]
クローラーについて解説する検索セントラルの技術ドキュメントを Google は再構成しました。
独立したページにセクションを分割
全体的な内容に大きな変更はありませんが、複数のページに分割しました。
ドキュメントが長くなり過ぎて、情報をこれ以上追加するのが難しくなってきたからです。
次の3ページを新たに新設しました。
- Google’s common crawlers（一般的なクローラー）
- Google Special-Case Crawlers（特殊なケース用のクローラー）
- Google User-Triggered Fetchers（ユーザー トリガー フェッチャー）
これらのページは以前は、概要ページのセクションとして 1 ページにまとまっていましたが独立したページに移動しました。
なお、この記事を書いている時点では、日本語ページは未更新でまだ分割されていません。
記述例と影響範囲を追加
全体的な内容に大きな変更はないと書きましたが、各クローラーを対象にした robots.txt の記述例と、ブロックした際に影響を受けるプロダクトの範囲が追加されました。
赤枠で囲った部分です。
たとえば、Googlebot を対象にした robots.txt の記述例は次のとおりです。
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archiveGooglebot をブロックした場合の影響範囲の説明は次のとおりです。
Crawling preferences addressed to the Googlebot user agent affect Google Search (including Discover and all Google Search features), as well as other products such as Google Images, Google Video, Google News, and Discover.
Googlebot ユーザーエージェントに対するクローリング設定は、Google 検索（Discover やその他の Google 検索機能を含む）と Google 画像検索、Google 動画検索、Google ニュース、Discover などの他のプロダクトにも影響します。
robots.txt で各クローラーを制御した際の影響範囲
robots.txt で各クローラーを制御した際の影響範囲は新規情報なのでまとめます。
Googlebot
- Google 検索
- Discover や画像検索、動画検索、ニュース検索などその他のすべての Google 検索機能
Googlebot-Image
- 画像検索
- Discover
- 動画検索
- 画像やロゴ、ファビコンなど画像が表示される Google 検索機能
Googlebot-Video
- 動画関連の Google 検索機能
- 動画に依存するその他のプロダクト
Googlebot-News
- Google ニュースのすべての機能 —— Google 検索のニュース タブや Google ニュース アプリなど
Storebot-Google
- Google ショッピングのすべての機能 —— Google 検索のショッピング タブや Google ショッピングなど
Google-InspectionTool
- リッチリザルト テストや Search Console の URL 検査ツールなどの検索テストツール
- Google 検索や他のプロダクトには影響しない
GoogleOther
- Google 検索や他のプロダクトには影響しない —— 社内での研究開発などさまざまなプロダクトチームが内部的に使用するだけ
GoogleOther-Image
- GoogleOther と同様に特定のプロダクトには影響しない —— 公開されている画像の URL を取得するために最適化された GoogleOther の別バージョン
GoogleOther-Video
- GoogleOther と同様に特定のプロダクトには影響しない —— 公開されている動画の URL を取得するために最適化された GoogleOther の別バージョン
Google-CloudVertexBot
- サイト所有者が Vertex AI エージェントを構築するためにリクエストしたクロールに影響する
- Google 検索や他のプロダクトには影響しない
Google-Extended
- ウェブ発行者が、Gemini アプリや Vertex AI の生成 AI API（これらのプロダクトを強化する将来のモデルを含む）の改善に自分のサイトが役立つかどうかを管理するために使用できる、独立したプロダクト トークン
- Google 検索におけるサイトの掲載やランキングには影響しない
Googlebot のようにブロックすると Google 関連のすべてのプロダクトに影響が出るクローラーがある一方で、GoogleOther のように一般ユーザー向けの通常のプロダクトには一切影響しないクローラーもあります。
たとえば、過度なクロールでサーバーに負荷がかかっている時に、ブロックしても検索に影響が及ばないかどうかを判断するときに参考になります。
#SEO #Googlebot #クローラー