stMind

You'll never blog alone

Learning by Associationの論文を軽く読む

[1706.00909] Learning by Association - A versatile semi-supervised training method for neural networks

f:id:satojkovic:20170729175925p:plain (画像は論文より引用)

CVPR2017で発表された論文の一つ。ミュンヘン工科大学Googleの共著。 図にあるように、ラベルあり(A)とラベルなし(B)の画像が含まれるデータセットからCNNを学習する半教師あり学習のフレームワークの提案。

Associationというアイデアを導入。ラベルありの画像のembeddingと、ラベル無しの画像のembeddingを使って、図の赤矢印に示すように遷移後、異なるクラスになるとロスが発生する。

  • Walker loss
    • embeddingのdot productをsoftmaxとったものを遷移確率と考えて、A→B→Aとround tripした時の確率が以下の一様確率分布になるようにするロス
    • あるクラスのサンプルが、遷移して戻ってきた時に同じクラスのサンプルである確率は、1 /(Aの中でそのクラスのサンプルの総数)で、それ以外のクラスの場合は0
  • Visit loss
    • 全てのラベル無しサンプルに遷移するようにするロス
    • 1 / |B| の一様確率分布
  • Classification loss
    • 分類結果に対するロス
    • Walker lossとVisit lossだけでも収束する

MNISTとSVHN (Street View House Number)を使って評価。SVHNでラベルありサンプル500個のときにstate of the art。