検索エンジンの目隠しテスト

11月20日から、「検索エンジンの目隠しテスト」が始まっています。目隠しテスト（ブラインド・テスト）とは、ブランド名を隠したままで複数の商品を比較してもらい、その中で一番優れているものを選んでもらうテストのことです。以前CMなどでも流れていましたよね。

Take The Search Engine Relevance Test (Webpronews.com)

今回始まったのは「検索エンジンの目隠しテスト」ということで、ブランド名が明かされないままでGoogle、Yahoo!、MSNそれぞれの検索結果が1画面に表示され、その中でもっとも関連性が高い結果が表示されていると思ったブランドを1つだけ選ぶという手順になっています。

実際にテストを受けてみたいという方は、次のリンク先へジャンプしてみて下さい：

The Search Engine Experiment (WebmasterBrain)

トップ画面で何かキーワード（英語以外も入力可能ですが、正しく動作しない場合もあります）を入力し、"Search"というボタンを押すと、次のような画面が表示されます（画像をクリックすると拡大します）：

ちなみに上のスクリーンショットは、"dark blog"というキーワードで実行したものです。ここで表示されたX、Y、Zの3つのブランドの中から最も関連性が高い結果が表示されていると思うものを選び、下に表示されている緑色のボタンを押すという仕組みになっています（ボタンを押すと、次の画面で選択したブランドがGoogle、Yahoo!、MSNのどれだったかが分かります）。

今日（日本時間の11月26日深夜）までで既に1万2千人以上の人がテストに参加しています。その結果をグラフにしたのがこちら：

これを見ると、Googleが（関連性という観点では）最も支持されていることが分かります。みなさんの予想通りでしたか？僕は何回かキーワードを変えて試してみて、Yahoo!を選択する確率が高かったものですから、結果は少し意外に感じています。

このテストは純粋に「エンジンの性能」という面から検索サービスを評価できるものとして、有意義なものだと思います。このテストとは逆に、「ブランド名をオープンにして、かつ各自のサイトで表示された検索結果を見て最も優れていると思うサービスを選ぶ」というテストがあれば、両方の結果を比較することで、検索におけるブランド名とユーザーインターフェースの重要性というものが分かるでしょう。

また日本語をキーワードに使った場合には、結果が大きく異なる可能性もありますね。ブランドもGoogle、Yahoo!、MSNだけでなく、gooやAsk Jeevesなども入れてみると、思いもよらない結果が出るかもしれません。この種のテストの進化と、日本で実施されることを期待したいと思います。