モデル選択、モデル比較
次数Mを求める問題は、モデル選択とかモデル比較などと呼ばれる概念の一例で、複数のモデルの中からデータをうまく説明するモデルを比較・選択すること(どのモデルが訓練データに対して当てはまりがいいか?)。
過学習とRMS誤差、最尤推定
過学習の抑制
過学習を抑制するには、
- データ集合のサイズを大きくする
- パラメータ数に対して数倍(5とか10)より小さくてはいけないと言われている
- ベイズ的アプローチ
- 正則化
- 誤差関数に罰金項を付加する事により係数が大きな値になる事を防ぐ
- 罰金項のうち最も単純なものは係数を二乗して和をとったもので、誤差関数は以下で表される。
ただし、
係数は、正則化項と二乗誤差の和の項との相対的な重要度(重み)を調節する。
その他
- モデルの複雑さを決める問題(次数Mをどのように決めるか?)は重要。
- 誤差関数を最小にする方法で実際の応用問題を解くような場合には、モデルの複雑さを決める適切な方法を見つけないといけない。一つの方法として、得られたデータを、係数を決める訓練データと、それとは別の確認用集合(ホールドアウト集合とも呼ばれる)に分けるというのが考えられる。
- より詳しい議論は1.3節に。