[レベル: 中級]
Google は次の 2 つのクローラーに関するドキュメント上の説明を更新しました。
更新点を順に説明します。
Google-Extended が影響するプロダクトをより明確に説明
こちらは、Google-Extended によって影響を受けるプロダクトについての以前の説明です。
Google-Extendedis a standalone product token that web publishers can use to manage whether their sites help improve Gemini Apps and Vertex AI generative APIs, including future generations of models that power those products. Grounding with Google Search on Vertex AI does not use web pages for grounding that have disallowed Google-Extended. Google-Extended does not impact a site’s inclusion or ranking in Google Search.
Google-Extendedはスタンドアロンのプロダクト トークンです。ウェブ パブリッシャーは、Gemini アプリと Vertex AI の生成 API（強化された将来世代のモデルを含む）の改善に自社のサイトを役立たせるかどうかを管理するためにこのトークンを使用できます。Vertex AI での Google 検索を使用したグラウンディングでは、Google-Extended を許可していないウェブページは使用されません。Google 検索でのサイトの登録と掲載順位に Google-Extended が影響することはありません。
更新後の説明です。
Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding (providing content from the Google Search index to the model at prompt time to improve factuality and relevancy) in Gemini Apps and Grounding with Google Search on Vertex AI.
Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.
Google-Extendedはスタンドアロンのプロダクト トークンです。ウェブ パブリッシャーは、自社のサイトから Google がクロールしたコンテンツを、Gemini アプリや Vertex AI API for Gemini を強化する将来世代の Gemini モデルのトレーニング、および Gemini アプリや Vertex AI 上の Google 検索によるグラウンディング（プロンプト時に Google 検索インデックスのコンテンツをモデルに提供し、事実性と関連性を向上させること）に使用できるかどうかを管理するためにこのトークンを使用できます。
Google-Extendedは、サイトの Google 検索への掲載に影響を与えることはなく、Google 検索のランキング シグナルとしても使用されません。
主な変更点を箇条書きにします。
- 範囲の拡大 —— 更新後の説明では、将来の Gemini モデルの学習 および グラウンディングを
Google-Extendedが管理することが明示されているのに対し、更新前 は Gemini Apps／Vertex AI の改善に関する記述のみ - グラウンディングの定義追加 —— 更新後はグラウンディングを「プロンプト時に Google 検索インデックスからコンテンツを提供し、事実性と関連性を高める手法」と説明しているが、更新前は説明なし
- ランキングに関する明確化 —— 更新後は
Google-Extendedが「ランキングシグナルとしては使用されない」と明言しているのに対し、更新前は「順位に影響しない」とだけ記載 - 削除された記述 —— 更新前にあった「
Google-Extendedを拒否したページはグラウンディングに利用されない」という一文が更新後では削除されている
Google-Extended の目的自体に変更はありません。
説明がより具体的になりました。
ドキュメントを読んだパブリッシャーからの説明不足な点の指摘や質問が多かったようです。
Googlebot-News はニュースタブの検索結果には影響せず
Googlebot-News ユーザーエージェントについての説明も更新されました。
Googlebot-News が関係するプロダクトは以前は次のように説明されていました。
Crawling preferences addressed to the
Googlebot-Newsuser agent affect all surfaces of Google News (for example, the News tab in Google Search and the Google News app).
Googlebot-Newsユーザー エージェントに対するクロール設定は、Google ニュースのすべてのサーフェス（Google 検索の [ニュース] タブや Google ニュース アプリなど）に影響します。
更新後はこうなりました。
Crawling preferences addressed to the
Googlebot-Newsuser agent affect the Google News product, including news.google.com and the Google News app.
Googlebot-Newsユーザー エージェントに対するクロール設定は、Google ニュースのすべてのサーフェス（Google ニュース アプリなど）に影響します。
違いは明白で、「Google 検索の [ニュース] タブ」の言及が削除されました。Googlebot-News のクロール制御は、Google 検索の [ニュース] タブの結果には影響しません。
それにもかかわらず、何かの手違いで、Googlebot-News のクロールが [ニュース] タブにも影響するとドキュメントでは記述されてしまっていました。
Googlebot-News が関係するのは、Google ニュースとしてのプロダクト（ウェブ検索とアプリ）です。
ウェブ検索の絞り込みとしてのニュースには関係しません。
Google-Extended の説明の更新とは異なり、Googlebot-News に関する説明の更新については、特にニュースサイト管理者は認識しておく必要があります。
【追記 (2025/4/28)】
ここで書いたことが関係するのは、robots.txt や robots meta タグなどで Googlebot-News を指定してクロールやインデックスを制御した時の挙動です。
ランキングに関わることではありません。