stMind

about Tech, Computer vision and Machine learning

Googleサーチの改善プロセス

In The Plex: How Google Thinks, Works, and Shapes Our Lives

In The Plex: How Google Thinks, Works, and Shapes Our Lives


グーグル ネット覇者の真実 追われる立場から追う立場へ

グーグル ネット覇者の真実 追われる立場から追う立場へ

様々な書評(総じて高評価)が見受けられるIn the plex。
内容が多岐に渡っているので読む人によって印象に残るポイントがバラバラなのだろうなと思います。

個人的に印象に残っているのはGoogleサーチの改善プロセスの記述で、通常のメディアに出てる情報では分からない
日々の開発の様子が垣間見えて「ああ、こういう風に開発してるんだな」と感じられる内容でした。


In the plex英語版しか読んでないのですが、原文を引用しつつ紹介してみたいと思います。

Over the years, Google evolved a set of process for search engine tweaks.
何年にもわたって、Googleサーチエンジンの改善プロセスについて進化させてきた

1. 欠陥の認識

After an engineer identified a flaw, he or she would be assigned a "search analyst" to manage the next several weeks, during which the improvement would be implemented.
エンジニアが欠陥を認識すると"search analyst"にアサインされる。次の数週間で改善策を実装することになる。

2. 課題の特定

The engineer would determine and recode the relevant part of the search algorithm.
エンジニアは課題を特定し、サーチアルゴリズムの関連する箇所をrecodeする。

Maybe it would require adjusting the importance of a signal. Or perhaps altering the interpretation of multiword "bigrams". Or even integrating a new signal.
シグナルの重要性を調整することだったり、bigramsの解釈を変更したり、新しいシグナルを統合したり。

3. テスト

Then the counselor would submit it to testing.

Part of that testing involves hundreds of people around the world who sit at their home computers and judge results for various queries, making whether the new tweaks return better or worse results than the previous versions.
...(中略)
The mainstay of this system was the "A/B test", where a fraction of users --typically 1 percent -- would be exposed to the suggested changes. The results and the subsequent behavior of those users would be compared with those of the general population.
新しい微調整がより良い結果もしくはより悪い結果を返すのかを様々なクエリで判断。A/Bテストで、新しい変更をした時の検索結果とその後の行動を、通常の時のそれらと比較をする。

4. Search Quality Launch Meeting

In search tweaks, the culmination of the process would come in the weekly Search Quality Launch Meeting.
改善をweekly Search Quality Launch Meetingへ。

In a typical session in 2009, fifty engineers, mostly in their twenties and early thirties, participated. One test query was "Terry Smith KS," a search that appeared on a screen and had been launched from Springfield, Missouri. The baseline, or unaltered result, assumed that the user wants a link to a town called Smith, in Kansas.
2009年の一般的なセッションでは、50人のエンジニアが参加(大部分は20代から30代前半)。あるテストクエリ"Terry Smith KS。改善前の結果は、KansasのSmithと呼ばれる街のリンクを望んでいるとみなしていた。

A tweaked version of the search included a link to a Terry Smith who lives in Kansas. That was considered a win by the engineers.
微調整後の検索にはKansasに住むTerry Smithへのリンクが含まれた。エンジニアの勝利!

このような改善プロセスを繰り返して、結果的に2009年は600以上!の検索品質改善の変更が行われたようです。
単純計算で1週間あたり10個以上は改善が行われていることになりますね。


このように、普段のニュースではわからない内部の詳細が数多く記述されていて、読む人それぞれに記憶に残るポイントがあり、読み応えたっぷりの一冊になっているかと思います。