stMind

about Tech, Computer vision and Machine learning

Multi Layer Perceptronについて 概略編

Multi Layer Perceptron(MLP)

  • 多層パーセプトロン
  • 入力層(Input Layer)と出力層(Output Layer)の間に1以上の隠れ層(Hidden Layer)を持つ
  • 線形分離不可能な場合に対応可
  • Regression, Classification, Time-series Prediction, Data Compression等に使える
    • 集合知プログラミングでは、ユーザの検索結果のクリックを学習して検索結果のランキングを改良する例が記載されてる

MLPのアルゴリズム概略

Back propagation of error(誤差逆伝搬)により重みを学習。出力値とターゲット値の誤差を最少にする重みを求めるため、gradient descent(最急降下法、勾配法)という計算手法が使われる。

  1. 入力ベクトルを入力層の各ノードへ入力
  2. 入力がネットワークをForwardに伝搬
    • 入力と入力層と隠れ層間の重みの積を、隠れ層の各ノードに入力。
    • 隠れ層のノードの出力と隠れ層と出力層間の重みの積を、出力層の各ノードに入力。活性化関数により最終出力値が出力される。
  3. 出力値とターゲット値の誤差を計算
    • 誤差関数(Error Function)は二乗和誤差で与えられる
    • f:id:satojkovic:20120415031333p:image
  4. 誤差がネットワークをBackwardに伝搬
    • 最初に隠れ層、次に入力層の重みが更新される