[レベル:中級]
Googleのクローラのコンテンツへのアクセスを拒否するときはrobots.txtを使います。
しかし+1ボタンを設置しているページで、その+1ボタンが押されたときはGoogleは、robots.txtのブロック指定を無視して、クローリングし検索結果に表示することがあり得るそうです。
GoogleのエンジニアのJenny Murphy(ジェニー・マーフィー)さんが、Google公式ヘルプフォーラムで2度に渡ってこれまでに説明しました。
Google+のヘルプページの+1ボタン セクションに次のように書かれています。
Does +1 affect how Google crawls my site?
When you add the +1 button to a page, Google assumes that you want that page to be publicly available and visible in Google Search results. As a result, we may fetch and show that page even if it is disallowed in robots.txt.
「+1ボタンを設置するということは、そのページを一般に公開してGoogleの検索結果に出したいと考えている証拠だから、robots.txtでブロックしていても取得して検索結果にだすことがある」と説明しています。
ちなみにこのセクションは、対応する日本語のヘルプページには存在しません。
訳し忘れ?、わざと?
【UPDATE】現在は日本語訳されています。
CMSを使っていれば一か所で設定するとすべてのページに+1ボタンを表示できます。
Googleのアクセスをrobots.txtでブロックしているページがサイト内にあるときは注意しましょう。
+1ボタンが押されたら中身を見られて、それだけではなく検索結果に出てきてしまうこともありえます。
気を付けてください。