stMind

You'll never blog alone

ビショップ本 確率論 p11-17

確率論

パターン認識の分野で鍵となる概念は不確実性で、確率論とは不確実性に関する定量化と操作に関して一貫性を与え、パターン認識の中心を担う。

確率の加法定理と乗法定理の導出

確率の加法定理と乗法定理を導く為に、二つの確率変数XとYからなる、一般的な設定を考える。

f:id:satojkovic:20091112003157p:image

  • Xx_i (i=1, \ldots, M)Yy_j (j=1, \ldots, L)をとれるものとする。
  • XYについてサンプルをとり、全部でN回の試行を行う。そのうちX=x_i , Y=y_jとなる回数をn_{ij}とする。
  • Xが値x_iをとる回数をc_iYが値y_jをとる回数をr_jとする。

このとき、Xx_iYy_jをとる確率をp(X=x_i, Y=y_j)と書き、同時確率と呼ぶ。
これは、上記の図で言うと、i,jという枠の中にある点の個数を総数で割ったものであるから、p(X=x_i, Y=y_j) = \frac{n_{ij}}{N}で与えられる(N→∞)。
Xx_iをとる確率を、p(X=x_i)と書くと、i列にある点の数を総数で割った数でp(X=x_i)=\frac{c_i}{N}となる。
さらに、i列の事例数は、単にその列にある枠内の事例数の総和になるので、\sum_{j} n_{ij}であり、従って最終的にp(X=x_i) = \sum_{j=1}^{L} p(X=x_i, Y=y_j)となる。
これが確率の加法定理である。Yについての足し合わせであり、周辺確率と呼ばれる事もある。

次に、X=x_iの事例だけを考える。
その中での、Y=y_jの事例の比率はp(Y=y_j | X=x_i)と記述、X=x_iが与えられた下でのY=y_jの条件付き確率と呼ぶ。これは、i列の点の中でi, jにある点の数の比率なので、p(Y=y_j | X=x_i) = \frac{n_{ij}}{c_i}
さらに、これまでの式を組み合わせて以下の関係が得られる。 これが確率の乗法定理。
p(X=x_i, Y=y_j) = \frac{n_{ij}}{N} = \frac{n_{ij}}{c_i} \cdot \frac{c_i}{N} = p(Y=y_j | X=x_i) p(X=x_i)

確率の加法定理と乗法定理のまとめ

確率変数Bの確率分布をP(B)、その分布が特定の値rをとるときの確率をp(r)と書く。
加法定理と乗法定理は以下のようになる。

加法定理 p(X) = \sum{Y} p(X, Y)
乗法定理 p(X, Y) = p(Y|X) p(X)

ベイズの定理

p(Y, X)=\frac{n_{ij}}{N} = \frac{n_{ij}}{r_j} \cdot \frac{r_j}{N} = p(X|Y) p(Y)
また対称性p(X,Y)=p(Y,X)と上記の乗法定理から、以下が得られる。
p(Y|X) = \frac{p(X|Y) p(Y)}{p(X)}
これをベイズの定理と呼ぶ。

また、分母は加法定理を使って以下のように書ける。
p(X)=\sum{Y} p(X|Y) p(Y)
これは、ベイズの定理の左辺の条件付き確率をYについて和をとったものが1になることを保証するための正規化変数と言える。

事前確率と事後確率

p(Y)を事前確率、またp(Y|X)をXが観測された後の確率ということで事後確率と呼ぶ。