確率論
パターン認識の分野で鍵となる概念は不確実性で、確率論とは不確実性に関する定量化と操作に関して一貫性を与え、パターン認識の中心を担う。
確率の加法定理と乗法定理の導出
確率の加法定理と乗法定理を導く為に、二つの確率変数XとYからなる、一般的な設定を考える。
は
、
は
をとれるものとする。
と
についてサンプルをとり、全部で
回の試行を行う。そのうち
となる回数を
とする。
が値
をとる回数を
、
が値
をとる回数を
とする。
このとき、が
、
が
をとる確率を
と書き、同時確率と呼ぶ。
これは、上記の図で言うと、という枠の中にある点の個数を総数で割ったものであるから、
で与えられる(N→∞)。
が
をとる確率を、
と書くと、
列にある点の数を総数で割った数で
となる。
さらに、列の事例数は、単にその列にある枠内の事例数の総和になるので、
であり、従って最終的に
となる。
これが確率の加法定理である。Yについての足し合わせであり、周辺確率と呼ばれる事もある。
次に、の事例だけを考える。
その中での、の事例の比率は
と記述、
が与えられた下での
の条件付き確率と呼ぶ。これは、i列の点の中でi, jにある点の数の比率なので、
さらに、これまでの式を組み合わせて以下の関係が得られる。 これが確率の乗法定理。
確率の加法定理と乗法定理のまとめ
確率変数Bの確率分布を、その分布が特定の値rをとるときの確率を
と書く。
加法定理と乗法定理は以下のようになる。
加法定理
乗法定理
ベイズの定理
また対称性と上記の乗法定理から、以下が得られる。
これをベイズの定理と呼ぶ。
また、分母は加法定理を使って以下のように書ける。
これは、ベイズの定理の左辺の条件付き確率をYについて和をとったものが1になることを保証するための正規化変数と言える。
事前確率と事後確率
を事前確率、また
をXが観測された後の確率ということで事後確率と呼ぶ。