[レベル: 初級]
ほかのサイトよりもクロールやインデックスが速いサイトがあるのはどうしてでしょうか？
2022 年 12 月に公開された英語版 Google SEO オフィスアワーで Gary Illyes（ゲイリー・イリェーシュ）氏がこの質問に回答しました。
認知度やコンテンツ品質で決まる
イリェーシュ氏の説明は次のとおりです。
ものすごくいい質問だ。
どのくらい速くサイトがクロール、インデックスされるかの大部分はそのサイトがインターネットでどのように認識されているかによって決まる。たとえば、そのサイトについて多くの人が話していれば、より速くクロール、インデックスされる可能性が高い。
しかしながら、コンテンツの品質も大きく関係してくる。高品質コンテンツを一貫して発行しているサイトはより速くクロール、インデックスされるだろう。
簡潔にまとめると、次の 2 つがクロール/インデックスの速さに影響します。
- ウェブでの言及
- コンテンツ品質
「そのサイトについて多くの人が話して」いるは、言い換えれば、ウェブでの言及です。
これはリンクのことを指すでしょう。
ひょっとしたら、リンク（ハイパーリンク）が設定されていないテキストだけの言及、いわゆる “メンション” も考慮しているかもしれません。
コンテンツの品質も間違いなく重要です。
Google といえどリソースは無限ではありません。
膨大な数のコンテンツが日々出現する近年では、クロール、インデックスする価値があるページであるかどうかはさらに大きく影響するようになっています。
また、継続して高品質コンテンツを公開し続けていることも大切です。
10 年以上運営していて絶えずコンテンツを追加し 9 割以上が高品質のサイトと、1 週間前に公開したばかりで大部分のコンテンツが低品質であればクロールもインデックスも遅いでしょう。
ともすれば、クロール/インデックスされないこともありえます。
一言で言えば、インターネットにおいて、そしてユーザーにとってどのくらい重要なのかに応じて URL のクロールとインデックスの速さが優先付されます。
高品質なコンテンツを絶えず公開し、ウェブでの認知を高めることがクロールとインデックスを確実にするために必要な手段です（大規模サイトでは考慮すべきことがもっとたくさんあるでしょうが）。
AI も利用してクロールを最適化
Google は現在、ランキングだけではなくクロールにも AI を活用しています。
昨年 11 月にシンガポールで開催された Search Central Live Conference でゲイリーは（明確にではありませんが）この点についても触れていました。
学習データから予測をつけて、どのサイトやページにどのくらいのリソースを割り当ててクロールするのがより効率的かを AI によって判断するようです。
googlebot もより賢くなってきています。