PRML本（上） 〜序論〜

序論の最初

ここでは、用語とその意味をちゃんとつかんでおく事が重要かと。
PRML本で説明されている0から9までの手書き数字の認識の例をベースに、Wikipediaの情報で補足しながらまとめてみる。
（PRML本の出現順序とは異なります）

手書き数字の認識の例

• それぞれの数字は28x28ピクセルの画像からなる
  • 784次元の実数値ベクトルとして表現出来る
• ベクトルを入力として受け取り、それが0から9のどの数字を表しているかを出力する機械を作る事が我々のやりたいこと

用語まとめ

• パターン認識（pattern recognition）
  • 計算機アルゴリズムを通じて、データの中の規則性を自動的に見つけ出し、さらにその規則性を使ってデータを異なるカテゴリに分類する
  • 数字認識の例で言えば、入力画像パターンを、規則性に当てはめて0から9のいずれかに分類する

• 機械学習（machine learning）
  • データの中の規則性を発見させる
  • 機械学習のアルゴリズムは大きく以下のように分類される
    • 教師あり学習
    • 教師なし学習
    • 強化学習
  • 機械学習のアルゴリズムによって得られるのは関数
  • 関数の詳細な形は訓練データに基づいて求められ、この段階を訓練（training）段階または学習（learning）段階と呼んでいる
  • 一旦学習が出来ると、テスト集合（test set）と呼ばれる新しいデータ（例えば数字画像）をカテゴリに分類できる

• 教師あり学習（supervised learning）
  • 訓練データが、入力ベクトルとそれに対応する目標ベクトル（target vector）の事例で構成される問題
    • 目標ベクトルは、1つ1つの数字に対応するカテゴリを表現する
  • 数字認識の例のように、各入力ベクトルを有限個の離散カテゴリの1つに割り当てる場合をクラス分類（classification）と呼ぶ
  • 求める出力が1つないしそれ以上の連続変数であるような場合を回帰（regression）と呼ぶ

• 教師なし学習（unsupervised learning）
  • 訓練データが入力ベクトルのみで対応する目標ベクトルが存在しない問題
  • 類似した事例のグループを見つけるクラスタリング（clustering）や、入力空間におけるデータの分布を求める密度推定（density estimation）がある

• 強化学習（reinforcement learning）
  • ある与えられた状況下で、報酬を最大にするような適当な行動を見つける問題
  • 教師あり学習と異なり、最適な出力は事例として与えられない

• 前処理（preprocessing）
  • もともとの入力変数を、問題をより解きやすくするために、新しい変数に変換する
  • 特徴抽出（属性抽出; feature extraction）とも呼ばれる
  • 例えば、数字の認識問題では、数字画像を平行移動させたり拡大縮小したりして、固定した大きさの箱に収まるように変換する。これにより、各数字クラスの多様性は大きく減少するので、パターン認識でクラスを識別するのが易しくなる。

参考情報

以下のページも非常に参考になるかと。

勉強会 on Skype - Dawn of Wilsonia

今日はここまで

序論を読んで、これをまとめるまでに大体1時間半くらいかかった。
ちょっとかかり過ぎたかなと。