Distillationは、事前学習済みの大規模ネットワーク（教師モデル）を用いて、小規模ネットワーク（生徒モデル）を学習する仕組み。教師モデルと、生徒モデルは同じ入力を受け取り、教師モデルの方は生徒モデルのためのSoft labelを生成する。Soft labelは、…