集合知シンポジウムの招待講演メモ

昨日は集合知シンポジウムが開催されているということで、招待講演を聴講してきた。

質疑応答の中で話されていましたが、ユーザのためにはどうするべきかという視点が、
組織にしっかりとあるのだなと感じました。
ユーザのためにIMMからTSFに変更した、単なる数値評価ではなくユーザをモデル化して評価するなど、
「実用的」というのは徹底したユーザ視点で考える開発ということなのかなと思いました。

以下はログにはなってないけど、その時の自分メモ。

実用的な自然言語処理アプリケーションの作り方

集合知を生かした日本語入力

集合知
- ウェブからキーワード、言語モデル、辞書を作る
- 辞書
  - データ構造の変化
  - 圧縮、Mozcでは13MBくらい

自然言語システムの評価

入力（ひらがな列）と出力のペア
F値などで評価
これで十分？
デバイスで違う
入力単位による違い
集合知の副作用
- あいます→アイマスvs会います
- 橋下vs橋本
許容できる、できない
平均的、機械的な評価尺度だけでははかれない
ユーザーのストレスをどうモデル化するか
どうするか？
- 機械的な、平均的な評価
  - 様々なジャンル
- 回帰テスト
  - 絶対できないといけない例、シナリオ
- 見える化
  - 変換できないひらがな列を登録、対応者アサイン、修正、検証、確認、蓄積の仕組み
評価のまとめ
- 評価は難しい
- 具体化→一般化のサイクルが重要
- 見える化重要