[レベル：全員]
シュミット会長、グーグルの検索慣行を擁護―米上院公聴会で
米インターネット検索大手グーグルのエリック・シュミット会長は21日、上院司法委員会の反トラスト小委員会公聴会に出席し、同社のインターネット検索システム慣行を擁護した。議員らが同社の検索サービスが独占状態にあり、この独占を使って自社サイトにユーザーを引き込んでいる可能性を指摘したのに反論したものだ。
（ウォール・ストリート・ジャーナル 日本版 より引用）
このときのシュミット会長の証言が小委員会によって公開されました。
シュミット会長はGoogleのアルゴリズム改良について次のように説明したそうです。
To give you a sense of the scale of the changes that Google considers, in 2010 we conducted 13,311 precision evaluations to see whether proposed algorithm changes improved the quality of its search results, 8,157 side-by-side experiments where it presented two sets of search results to a panel of human testers and had the evaluators rank which set of results was better, and 2,800 click evaluations to see how a small sample of real-life Google users responded to the change. Ultimately, the process resulted in 516 changes that were determined to be useful to users based on the data and, therefore, were made to Google‟s algorithm. Most of these changes are imperceptible to users and affect a very small percentage of websites, but each one of them is implemented only if we believe the change will benefit our users.
興味深い点をまとめると次のようになります。
- 2010年には、提案のあったアルゴリズム変更に対して13,311個の精度評価を行った。
- 2つの検索結果を並べて人間の評価者がどちらがいいか比較する対照テストを8,157個行った。
- Googleユーザーがその変更にどのように反応するか小さなグループに実験し2,800個のクリックを評価した。
- 結果として516個のアルゴリズム変更を採用した。
去年は、エンジニアから提案のあったアルゴリズム変更のうち合計で13,311個が評価の対象になったそうです。
そのうち、8,157個を比較テストしました。
テストには社外のテスターが参加します。
2つの検索結果を隣同士に並べて、どちらが適切な結果を返しているかを比べて評価します。
次は一部のユーザーだけを対象に実際のGoogleの検索結果に導入してテストします。
いわゆる、バケットテストですね。
あなたも検索結果ページのUI変更のテスト対象にあったことがあるのではないでしょうか？
最終的に去年は、検索の品質を上げユーザーの役にたつとアルゴリズム変更が516個承認され、僕たちが普段利用している検索に採用されたとのことです。
上で紹介したビデオによれば、ほとんどのアルゴリズム変更はきわめて微々たる変動しか起こさないので、ほとんどの場合ユーザーは気付かないそうです。
「Googleに大きな変動が」なんてブログ記事を毎日見ませんよね。（笑）
そう考えると、初代パンダ・アップデートの11.8%や全言語展開のパンダ・アップデートの6〜9%の検索結果に影響を与えるというのはものすごい変動になるわけです。
評価対象になったアルゴリズム変更の数を見ても、本採用になったアルゴリズム変更を見ても、検索品質を向上させるためにGoogleが絶えず奮闘している様子が分かりますね。
P.S.
記事の中で貼り付けたビデオはGoogleのアルゴリズム変更がどのようなプロセスで導入されるかを紹介したものです。
“Did you mean?”（もしかして）検索やそれをさらに発展させた“Escape hatch”（代わりに）検索の具体例も出ています。
短いビデオだし、サブタイトルも出せるのでぜひ見てください。
【参照】
13,000 Precision Evaluations: Schmidt's Testimony Reveals How Google Tests Algorithm Changes