[レベル: 中級]
robots.txt のドキュメントに記載されていないフィールドはサポートされていないことを Google は明確化しました。
Google がサポートする robots.txt フィールドは 4 つだけ
robots.txt ドキュメントの「Syntax（構文）」セクションに次の注釈が追加されました。
Google supports the following fields (other fields such as
crawl-delayaren’t supported):
太字強調した部分です。
日本語ドキュメントはまだ更新されていません。
日本語に訳すとこうなります。
Google は次のフィールドをサポートしています（
crawl-delayなどその他のフィールドはサポートされていません）。
Google が robots.txt でサポートするフィールドは次の 4 つだけです。
📝すずき補足：フィールドは、ルールやディレクティブとも表現される
user-agent: ルールを適用するクローラーを指定します。allow: クロールを許可する URL パス。disallow: クロールを許可しない URL パス。sitemap: サイトマップの完全な URL。
この 4 つ以外のフィールドが robots.txt に記述されていても Google は無視します。
サポートしていると明示的に記載していないフィールドについて質問を受けることがあるため、サポートされていないことを明確にする必要があるとして追記したとのことです。
たとえば、Googlebot のクロール頻度を落とす目的の crawl-delay というフィールドがあります。
robots.txt の標準仕様ではなく拡張仕様のため、Google はサポートしません。
📝すずき補足：Bing は crawl-delay をサポートする
4 つ以外のサポートしていないフィールドを記述していたとしても無視されるだけです。
検索には特に悪影響はありません。
それでも、効果がないことは覚えておきましょう。
なお、robots.txt の crawl-delay では Googlebot のクロール頻度を制御できないと書きました。
Search Consoleのクロール頻度制限ツールが廃止されたため、500、503、または 429 の HTTP レスポンス ステータス コードで現在は制御します。
とはいえ、最適なクロール速度に自動的に調整するので、制御は不要だと Google は言っています。
#SEO #robots.txt #crawl-delay