[レベル: 上級]
IndexNow を Google がサポートする可能性が出てきました。
IndexNow とは、クロールを必要とせずにコンテンツの追加・更新・削除を検索エンジンに即座に通知する仕組みです。
Microsoft Bing と Yandex が共同で開発しました。
しかし Google に開発には参加しておらず、IndexNow の正式公開後もサポートする意思はないようでした。
【参照】
テストの可能性に広報担当者が言及
ところが、IndexNow のテストに Google が乗り出しそうです。
Search Engine Land と Search Engine Journal が報じるところによると、Google の広報担当者は IndexNow の導入に関して次のようにコメントしたとのことです。
We take a holistic approach to sustainability at Google, including efforts to develop the most efficient and accurate index of the web. We have been carbon neutral since 2007 and we are on pace to be carbon-free by 2030 across both our data centers and campuses. We’re encouraged by work to make web crawling more efficient, and we will be testing the potential benefits of this protocol.
私たちは、Google での持続可能性に対して全体的な取り組みをしています。これには、ウェブの最も効率的で正確なインデックスの開発への努力も含まれます。2007 年から私たちはカーボンニュートラルで、このままのペースで行くと 2030 年までには、データセンターとキャンパスの全域でカーボンフリーになります。ウェブのクロールをより効率化しようとする取り組みに勇気づけられます。このプロトコル (IndexNow) の将来性がある有益性を私たちはテストしているでしょう。
具体的にいつとは言及していませんが、この先 IndexNow をテストしているだろうと言っています。
インデックス効率化で CO2 削減
理由が今どきですね。
IndexNow によってクロールに費やすコンピューティングのための消費電力を減らせれば、CO2 の削減にも役立つだろうとのことです。
現状では、変更のないページやインデックスする必要がないページも検索エンジンはクロールします。
むだな処理です。
IndexNow はサイト側から更新を通知します。
必要があるページだけを検索エンジンは取得すれば済みます。
非常に効率的です。
サポートするとしても先の話か？
ただし IndexNow を Google がいずれテストするとしても、全面的なサポートがすぐに実現するとは限らなそうです。
John Mueller（ジョン・ミューラー）氏は、この件に関して次のように見解を述べています。
限定的なテストから考えると、今すぐにこの機能を幅広く導入することはないだろうと思う。新しいコンテンツと更新したコンテンツを Google に知らせる方法が今でもたくさん存在する。そういったものに私なら重点的に取り組むだろうね（それに、その機能を使った大量のスパムが間違いなく出てくるだろうし）。
I wouldn't assume from a limited test that this will launch broadly anytime soon. There are lots of existing ways to inform Google of new & updated content — I'd focus on those. (And yes, we do get a ton of spam through them too)
— 🧀 John 🧀 (@JohnMu) November 10, 2021
IndexNow を利用せずとも、Bing や Yandex などのほかの検索エンジンと比べると Google のクロール・インデックスは格段に高速です。
継続的に効率化に取り組んでいます。
Google の広報担当者は次のようにもコメントしています。
Google’s crawling mechanism is highly efficient and it’s still being improved. For example, last year we announced that Googlebot supports HTTP/2, the next generation of the fundamental data transfer protocol of the web. HTTP/2 is significantly more efficient than its predecessors and it saves resources for both Google and web sites. We use HTTP/2 in over half of all crawls.
Google のクローリング メカニズムは高度に効率的で、今でも改善を続けてます。たとえば、ウェブの基盤となるデータ転送プロトコルの次世代版である HTTP/2 を Googlebot がサポートしたことを昨年発表しました。HTTP/2 は前のバージョンよりも格段に効率的で、Google とウェブサイトの両方のリソースを節約します。全クロールの半分以上で HTTP/2 を使っています。
ちょうど 1 年前に HTTP/2 による Googlebot のクロールが始まりました。
規模の大きなサイトから徐々にということでしたが、半分以上のクロールがすでに HTTP/2 になっているそうです。
こうしたウェブ標準の最新技術も積極的に取り入れながら、クロールの効率化を Google は継続的に図っています。
IndexNow が今すぐに必要ということではないでしょうし、テストした結果「必要なし」と結論づける可能性もあります。
それに、IndexNow を悪用したスパムが絶対に発生するでしょう。
URL 検査ツールからの URL インデックス送信がいい例です。
こうしたスパムへの対処策も検討しなければなりません。
実際に IndexNow を Google がサポートするかどうかは不透明です。
それでも、今よりも速やかなインデックスが実現するのであれば期待したいところです。