[レベル: 上級]
ソフト 404 のように、表面上は正常でも実施質的にはエラーの状態について Google の Gary Illyes（ゲイリー・イリース）氏が LinkedIn の投稿で注意喚起しました。
クローラーの時間とリソースをソフト 404 は浪費する
イリースの注意喚起の内容は次のとおりです。
ソフト404、その他のソフト/クリプトエラーは、僕や他のロボットたちにとって悩みの種だ。
お気に入りのコーヒーショップのオンラインメニューを確認して、大好きなヤクミルク入りコーンスパイスラテを注文する。メニューにはあると書いてあったのに、売り切れだった。ハーフエスプレッソを注文する。それも売り切れだ。仕方なく、ウォーターチェストナットミルク入り抹茶ラテを注文する。それも売り切れだ。イライラする。ここはコーヒーショップか、それともウェンディーズか？
ユーザーにとっては、エラーページが HTTP 200 (OK) ステータスコードで返されてもたいした問題ではないかもしれない。しかし、クローラーは、たとえページの内容が基本的にエラーメッセージだけだったとしても、ステータスコードを使ってページの取得が成功したかどうかを判断する。クローラーは同じページに何度も戻ってリソースを浪費してしまう可能性がある。そのようなページがたくさんある場合は、指数関数的に多くのリソースを浪費してしまう。その間、クローラーは実際の有益なコンテンツを含む実際のページを取得するために時間とリソースを費やせたはずだった。
クローラーは多くのリソースを持っているから、多少の無駄は許容できるが、あなたのサイトにそんな余裕はないだろう。ソフトエラーがよくない理由は：
- 限られた「クロールバジェット」が実際のページではなく、ソフトエラーに使われてしまう可能性があるから
- インデックス作成時にフィルタリングされるため、検索に表示される可能性が低く、基本的にそれらを提供するために費やしたリソースに対する見返りがないから。
サーバーまたはクライアントがエラーに遭遇した場合は、適切な HTTP ステータスコードを提供してほしい。あなたの状況を俺たちに理解させてもらいたい。
PS：この投稿は受信トレイに触発されて書いた。「TOO MANY REQUESTS SLOW DOWN」のようなメッセージでクローラーをレート制限しようとしないでくれ。僕たちは実際に読むことができない。
📝すずき補足：TOO MANY REQUESTS SLOW DOWN は HTTP 429 Too Many Requests レスポンスステータスコードのことだと思われるPPS：ここでの「クリプト (Crypto)」は「隠された」という意味であり、その類の人たちがあなたに投資を勧めようとしているものではない。
📝すずき補足：ビットコインなどの暗号資産（仮想通貨）の勧誘のこと
重要ポイント
イリースの投稿の重要ポイントをまとめます。
- ソフト404と隠れエラーは問題：これらのエラーはウェブページが存在しないにもかかわらず、404（Not Found）コードではなく200（OK）ステータスコードを返す場合に発生する。これは検索エンジンのクローラーを混乱させる
- クローラーへの影響：これらのページが有効であるとクローラーは考え、再訪問することでリソースを無駄にする。クローラーの時間とリソースは限られているため、これはウェブサイトの SEO にとっても良くない
- 検索結果への影響：ソフト404ページは、インデックス作成時に除外されるため、検索結果に表示される可能性は低い。クロールに使用されたサーバーのリソースの無駄使いになる
- 推奨事項：クローラーが状況を理解し、リソースを正しく割り当てることができるように、エラーには適切な HTTP ステータスコードを使用する
ソフト 404 は小規模なサイトであれば、さほど気にする必要はないでしょう。
しかし規模が大きなサイトがもし何万ページもソフト 404 を返していたとしたら、本当にクロールされるべきページのクロールに悪影響が出る可能性があります。
ソフト 404 の詳細は検索セントラルのドキュメントを参照してください。
ソフト 404 が検出されているかどうかは Search Console のページレポートで調べられます。
#SEO #404 #Soft404 #クロールバジェット