Googleは、10,000人の人間を使って検索結果を評価しているというのは、よく知られていることです。
評価者が使用する品質チェックのためのマニュアルが流出するという事件もありました（解説１／解説２／解説３）。
Google公式ブログで、Scott Huffman（スコット・ハフマン）氏が人間による評価について、さらに詳しく解説しました。
Googleは、さまざまな国と言語で評価者を採用しています。
評価者たちは丹念にトレーニングを受けて、いくつかの方法で検索結果を評価するように依頼されます。
検索結果全体だけを見せることもあれば、横に並べて比較することもあります。
検索ごとにひとつの結果だけを見せて、さまざまな角度から格付けしてもらいます。
また、ライブでの実験も行っています。
ごく少数の検索に絞って、通所とは違う仕組みで検索結果を表示し生のデータを収集して品質向上に役立てます。
基本的にGoogleは、コンピュータが処理するアルゴリズムで自動的に検索結果を判断しています。
でも、ユーザーが求めている情報をより適切に提供するために、人間の手も借りているということが、あらためて明らかになりましたね。