[レベル: 初級]
クロールを早める魔法のような裏技はない
Google の John Mueller（ジョン・ミューラー）氏はこのように言い切りました。
クロール促進に必要な要素
あるニュースサイトの管理者にミューラー氏が Bluesky で次のように質問されました。
世界、国内、地域の速報を配信する大手ニュース機関に勤務しています。
「Last Modified (lastmod)」タグをニュースサイトマップに含めても、Google が更新記事を再クロールするのに時間がかかり、検索結果に古い情報が表示される問題に直面しています。
何か解決策はありますか？
ミューラー氏はこう回答します。
クロールを早める魔法のような裏技はない。
Google のシステム（そして実際にはすべての検索エンジン）は、一貫した高品質なコンテンツ、独自性、サイト全体での高い付加価値を通じて学習する。そのうえで、技術的な基盤がクロールの速度を妨げないことが、より迅速なクロールの助けになる可能性はある。
永続的なショートカットというものはない。
@johnmu.com A Small query, I work with a major news organization that publishes breaking global, national, and local news. We face delays in Google recrawling updated articles, even with the "Last Modified" tag in our News Sitemap, causing outdated info in search results. Any solutions?
— Sandeep (@sande3p.bsky.social) February 17, 2025 at 7:56 PM
There's no magic trick to fast crawling – Google's systems (and all search engines, really) learn through consistent high quality, uniqueness, strong value-add across the whole site, and then a technical foundation that doesn't hinder faster crawling can help. There is no persistent short-cut.
— John Mueller (@johnmu.com) February 17, 2025 at 9:26 PM
クロールを促進できる近道は存在せず、次の要素が不可欠だとミューラー氏は説きます。
- 一貫した高品質なコンテンツ
- 独自性
- サイト全体での高い付加価値
ニュースサイトに限らずあらゆるサイトに当てはまるし、これまでに何度も言われてきたことです。
目新しくはありません。
それでも、結局はこれにつきます。
「クロールする価値があるコンテンツかどうか」が大前提です。
検索結果に表示するい値しないコンテンツをクロールするのは単純に、リソースの無駄づかいです。
この前提を満たしたのち、技術的な要素が関わってきます。
たとえば、次のような要素です。
- URL を発見しやすい内部リンク構造
- サイトマップ
- Googlebot のクロールを処理できるサーバーおよびネットワークの性能（大規模サイトの場合）
クロール、インデックスされない問題に関係する記事はこのブログで幾度となく取り上げてきました。
見直すのもいいでしょう。