[レベル: 上級]
Googlebot のクロールの急激な増加はアルゴリズム更新とは関係ありません。
1 月上旬にクロール リクエストの急激な増加
Search Console のクロールの統計情報を調べると、1 月上旬にクロール リクエストが急激に増加しているサイトを多数発見できます(グラフの右部分の上昇)。
1 月 5 日前後に 1 回目の急増加、1 月 13 日前後に 2 回目の急増加のサイトが多いようです(どちらか片方のサイトもある)。
もっとも、すべてのサイトというわけでもなくクロール リクエストに目立った変化がないサイトもあります。
Googlebot のクロール急増は何か、たとえばコア アップデートの兆候でしょうか?
アップデートとは無関係
サイト構造の大規模な変更を実行したときは、クロールが急増する現象は珍しくありません。
たとえば、サイトの移転(全 URL 変更)です。
大きな変化があったことを Google が察知し変更後の状況を把握するために、サイト全体の再クロールが促進されるからです。
しかし、変更を何も加えていないサイトでも今回の急増加が見られます。
サイト側の事情によるものではないとしたら、Google 側の事情になります。
アルゴリズム更新、ともするとコア アップデートが迫っているのでしょうか?
John Mueller(ジョン・ミューラー)氏によれば、まったく関係ないとのことです。
無関係だ。どういうことかというと、急増加のあとには常に何かが実行されている。しかし、常に何かが実行されている。
ニュアンスが伝わらなかったかもしれない。言おうとしていたのは、私たちは改善に常に取り組んでいる。だから、改善のあとにはどんなことでも続いて起きる――満月、クロール増加、陽が照り始める、大量のメール。あるいは何も起きないこともある。つまり無関係だ。
Yeah, it's unrelated. I mean, there's always something launching after a spike in crawling, but there's also always something launching.
— 🐄 John 🐄 (@JohnMu) January 19, 2022
I suspect some of the nuance got lost there, surprise. What I was trying to say here was that we're always working on improvements, so anything (full moon, more crawling, sunshine, email-flood) and nothing () will be followed by improvements launching. They're unreleated.
— 🐄 John 🐄 (@JohnMu) January 19, 2022
アップデートを Google は絶えず実行しています。
そのため、何であっても、アップデートによるものだと関連付けようと思えば関連付けられるということです。
自転車がパンクした日にコア アップデートがあったから、自転車のパンクはコア アップデートの前触れだったと言えるわけです。
もちろん、そんなことはありえません。
もっと言えば、クロール分析はアルゴリズム更新の予測に役立つものではないともミューラー氏は指摘しています。
公平のために言うと、データからパターンを発見しようするのは当然のことだ。私たちが予期しない特異な事象に遭遇する人もいる。たとえシステムが同じ状態を保っていたとしても、たくさんのデータやコンピュータ、アルゴリズムは、実際の理由なしに片方向にグラフを向かわせることがある。
アルゴリズムを実行するなら、テストして、そのアップデートがいいものかどうか証明しなければならない。導入前にウェブ全体を再クロールしなければならないとしたら、アップデートは実行できない(ウェブというものは超巨大ですぐには再クロールできない)。クロール頻度は、アップデートの初期の警告サインではない。
To be fair, it's totally natural to try to find patterns in data, and sometimes folks run into quirks that we wouldn't expect. Lots of data, computers, algorithms sometimes push graphs in one way for no real reason, even if the "system" remains the same. https://t.co/4tpHLAci82
— 🐄 John 🐄 (@JohnMu) January 20, 2022
If you want to launch an update, you have to test it & prove that it's good first. You can't do that if you have to recrawl the whole web just before going live (and the web is gigantic, you can't "just recrawl it briefly"). Crawl rate is not an early warning signal of updates.
— 🐄 John 🐄 (@JohnMu) January 20, 2022
微小な作用により大きな変化が発生することがあります。
“バタフライ効果” をミューラー氏は引き合いに出しています。
データを分析すると関連性があるように見えたとしても、必ずしも関連性があると結論付けることができない場合も多いのです。
クロール分析が役に立たないということでは決してありません。
特に大規模サイトでは、クロールを効率化するためにクロール分析は欠かせません。
とても重要なタスクです。
クロールを分析してもアップデートを予測するのは困難だということをミューラー氏は意味しています。
さて、アップデートとは無関係だとしたら、幅広く観測された今回のクロール リクエストの急上昇は何だったのでしょう?
原因はわかりません。
何にせよ、インデックスやランキングには特段の変化は起きていないはずです。
気にする必要はないでしょう。