CSSとJSファイルをブロックしているサイトに警告メッセージをGoogleが一斉送信

[レベル: 中級]

CSSとJavaScriptのファイルへのアクセスをrobots.txtでブロックしているサイトに対して、Search Console経由で警告メッセージをGoogleは一斉に送信し始めました。

CSSおよびJSファイルにGooglebotがアクセスできません

Google Search Console Teamから次のようなメッセージが届きます。

CSS および JS ファイルに Googlebot がアクセスできません

http://example.com/ の CSS および JS ファイルに Googlebot がアクセスできません

http://example.com/ のウェブマスター様

Google のアルゴリズムによるコンテンツのレンダリングとインデックス登録に影響を及ぼす問題が貴サイトで発生していることが Google のシステムにより判明しました。具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。Google では、これらのファイルによりウェブサイトが正常に機能していることを認識するため、これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。

今までにはなかった新しいタイプの警告メッセージです。

対象サイトへ一斉送信

国内外のブログの記事やソーシャルの投稿をチェックすると、かなり広い範囲でGoogleは送信しているようです。
1通だけ僕は今朝受け取ったのですが、複数のサイトに対して受け取っているサイト管理者もいました。

僕のブログ読者にも届いた人がたくさんいそうな気がします。

注意してほしいのは、これは品質ガイドラインに違反したときに与えられる手動対策（ペナルティ）ではないことです。
サイトに発生している技術的な問題を指摘することが目的です。

対処はシンプルです。
警告メッセージが届いたサイトのCSSやJavaScript、またはその両方のファイルへのGooglebotのアクセスを許可します。

CSSとJSの不要なブロックを解除する

CSSやJavaScript、画像などのリソース（アセット）へのGooglebotのアクセスをブロックしないように、Googleは昨年10月に技術ガイドラインを更新しました。
これらのリソースを取得することで、ブラウザで表示されるのと同じようにページをレンダリングし、より適切にコンテンツを評価するためです。

警告メッセージには次のようにも書かれています。

これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。

コンテンツのレンダリングに必要なリソースは必ずGooglebotがアクセスできる状態にしておきます。
SEOのためにJSやCSSをブロックしたほうがいいという主張も昔はあったのですが、今は逆効果です。
「何となく」や「誰かがどこかでそう言っていた」という明確な根拠のないブロックも望まない結果を作り出す要因になりえます。

特にモバイル向けサイトでも注意が必要です。
モバイル向けページを正しく評価できなくなったり、モバイル向けページとPC向けページの対応付けが困難になったりします。

また使っているCMSによっては、あなたの知らないところで自動的に特定のディレクトリやファイルへのクロールをブロックするようにrobots.txtを編集することがあります。
こちらも要注意です。

どのリソースがブロックされているのかは、Search Consoleの「ブロックされたリソース」レポートで調査できます。

WordPressサイトに警告が届きやすい

WordPressで構築しているサイトに今回のブロック警告が届きやすいようです。

基本的に、WordPressで以下のディレクトリをrobots.txtでブロックする必要はありません。

wp-includes
wp-content

robots.txtに下のような記述がないかチェックしてください。

Disallow: /wp-includes/
Disallow: /wp-content/

これらのディレクトリには、コンテンツのレンダリングに必要なJavaScriptやCSSが含まれています。
通常は、ブロックする記述を削除すべきです。
ブロックするのであれば、ブロックすることが絶対的に正しく、ブロックによるマイナス要因がないことを確かめておいてください。

なおプラグインによっては、そのプラグインのディレクトリやそのディレクトリに入っているJSファイルに対する拒否の記述を勝手に書き込むこともあるので要注意です。

受け取るとドキッとするような警告です。
でも見方を変えれば、コンテンツをきちんと理解する妨げになっている可能性がある不適切なブロックを知らせてくれているのでありがたいお知らせです。

【UPDATE】
今回の警告メッセージに関して、曖昧な点や問題点があればGoogleのJohn Mueller（ジョン・ミューラー）氏がフィードバックを受け付けてくれます。

we hear you that these messages aren’t as clear as they could be, and we’ll double-check your reports (here on G+, on Twiter, in the forums, etc) to see what we can do to improve that.

日本語を希望なら、長山さん宛でもOKです。
長山さんのTwitterアカウントはこちら、Google+アカウントはこちらです。

【UPDATE 2】
フォローアップ記事もお読みください。
『Googleが送ってきたCSSとJSのブロック警告に正しく対応するために必要なこと』