[レベル: 上級]
クロールとインデックスのサステナビリティを 2022 年には改善していきたい
Google の Gary Illyes（ゲイリー・イリェーシュ）氏は Search Off the Record ポッドキャストでこのように話しました。
この回のポッドキャストのテーマは、“What to expect from Search Central in 2022?”（2022 年に検索セントラルに期待すること）でした。
📝すずき補足: Search Off the Record は Google の John Mueller（ジョン・ミューラー）氏とイリェーシュ氏、Martin Splitt（マーティン・スプリット）氏の 3 人が Google 検索の裏側について話し合うポッドキャスト。
クロールをもっと効率化したい
サステナビリティでイリェーシュ氏が意味するのは、環境に優しいクロールです。
Googlebot がクロールする際にはコンピュータを使います。
コンピュータを動かすには電力が必要です。
電力の無駄な消費は環境に悪影響を与えます（たとえば、二酸化炭素の排出増加）。
そこで、喫緊の課題としてクロールの効率化に取り組みたいとイリェーシュ氏は考えているのです。
リフレッシュ クロールをもっと効率よく
クロール効率改善の手段として、イリェーシュ氏がまず挙げたのはリフレッシュ クロール頻度の改善です。
リフレッシュ クロールとは、一度クロール/インデックスした URL の再クロールです。
最後のクロール以降にコンテンツに変更がないかどうかを確かめるためのクロールです。
📝すずきメモ: クロールには 2 種類ある。もう 1 つは URL 発見のためのディスカバリー クロール (Discovery Crawl) で、こちらは初めてのクロール。
Search Console のクロールの統計情報では、更新がリフレッシュで検出がディスカバリー。
CNN や ウォール・ストリート・ジャーナルのトップページのように 5 秒おきに新しい記事が公開されるような URL であれば、リフレッシュ クロールは非常に重要です。
一方で、About Us（会社案内）ページのようにめったに更新しない URL はトップページほど頻繁なリフレッシュ クロールは必要ありません。
それにもかかわらず、リフレッシュ クロール不要な URL に何度も何度も繰り返しクロールすることが現状ではあります。
コンテンツに変更がないのであれば、リフレッシュ クロールは不要です。
リフレッシュ クロールが必要な URL と必要でない URL の見積もりにはまだまだ改善の余地があるのだそうです。
さらには、合理的な理由がないにのかかわらず 404 を返す URLに再クロールすることもあります。
これも改善対象に含まれます。
IndexNow の利用
イリェーシュ氏は、IndexNow の利用の可能性にも言及しました。
ひょっとしたら役に立つかもしれず、テストを考えています。
もっとも、どのようにテストするかの詳細への言及はイリェーシュ氏は避けました。
ただ、IndexNow に本当に利用価値があるかどうかについては懐疑的なニュアンスの話し方でした。
実際に採用する可能性は低いのではないかというのが僕の印象です。
サイトマップの lastmod
URL の更新を知る手段としてサイトマップの lastmod を Google は利用しています。
ところが、リフレッシュ クロールのヒントとして lastmod を利用することについて、2 つの問題をイリェーシュ氏は指摘しました。
- 説明不足
- 誤用・乱用
どの部分をどの程度更新したら lastmod の日時を更新すべきなのかを Google はきちんと説明していません。
メインコンテンツに大きな変更があったのであれば、lastmod も更新して再クロールを要求するのは理にかなっているでしょう。
対して、フッターリンクを変更した場合は lastmod を更新すべきなのでしょうか？
こうしたことを Google は適切に説明できていないのが現状です。
また、ページがまったく変更されていないのに lastmod を更新してクロールさせようとするサイトが後を絶ちません。
偽りの lastmod 利用が繰り返されると、そのサイトマップを Google は使わなくなります。
なお、たくさんクロールさせたからといって Google の評価は上がりません。
クロールが多いほうがランキングが上がるというのは完全な誤解です。
エコフレンドリーなクローリングのために Google も僕たちも協力して取り組みたいものです。