Googleは、どうやって検索結果の品質をチェックしているのか？
GoogleのDirector of Research、Peter Norvig氏が、Technology Reviewのインタビューの中で、回答しました。
We test it in lots of ways. At the grossest level, we track what users are clicking on. If they click on the number-one result, and then they’re done, that probably means they got what they wanted. If they’re scrolling down, page after page, and reformulating the query, then we know the results aren’t what they wanted. Another way we do it is to randomly select specific queries and hire people to say how good our results are. These are just contractors that we hire who give their judgment. We train them on how to identify spam and other bad sites, and then we record their judgments and track against that. It’s more of a gold standard because it’s someone giving a real opinion, but of course, since there’s a human in the loop, we can’t afford to do as much of it. We also invite people into the labs, or sometimes we go into homes and observe them as they do searches. It provides insight into what people are having difficulty with.
要点をまとめます。
- ユーザーのクリックを追跡
検索結果でのトップ表示のサイトをクリックして、そこで検索が完結すればユーザーは求めていた情報が手に入ったということで、検索結果のクオリティには問題はありません。しかし、ユーザーがページをめくっていったとしたら、欲しい情報が手に入らなかったということで、検索アルゴリズムを再考慮します。 - ランダムに選んだ検索で、検索結果が妥当かどうかを人の目でチェック
検索結果チェックのための契約社員を雇っています。彼らには、スパムサイトや悪質なサイトと、そうでないサイトの識別方法を教えています。 - 一般ユーザーの行動様式を観察
一般のユーザーをGoogleのラボに呼んだり、実際に自宅を訪れたりして、どんなふうに検索をしているかを観察してデータを取ります。
下のスクリーンショットは、２つの検索結果を比較してどちらが適切かを評価する画面です。
Googleは、コンピュータによる自動化されたアルゴリズムだけではなく、人の手も借りて検索の精度を高めているようです。
以前に、Googleは10,000人のサイト評価者を採用していることを明らかにしています。
今後は、ますます小手先のテクニックだけでは通用しなくなってきて、コンテンツの質が問われるようになってくることは間違いないでしょうね。