stMind

about Tech, Computer vision and Machine learning

Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better

論文のURL:https://arxiv.org/pdf/2106.08962.pdf

深層学習は、ビジョンや自然言語処理音声認識など様々な分野で飛躍的な進歩をもたらしましたが、モデルの改良が進むにつれてパラメータ数やレイテンシー、学習に必要なリソースなどが大幅に増えており、単にモデルの品質だけでなく、これらの指標にも注目する必要があります。

この論文は、深層学習における効率性の問題に対し、モデルの効率性に関する5つの主要素のサーベイ論文になっています。

f:id:satojkovic:20210704181435p:plain

5つのそれぞれを要約すると、

  1. Compression techniques
    • 例えば、量子化(32bit floatではなく8bit intに精度を削減)
  2. Learning techniques
    • 例えば、distillation
      • 教師モデルの知識をパラメータ数の少ない生徒モデルが学習
  3. Automation
    • 例えば、ハイパーパラメータ最適化(HPO)
    • 他にはarchitecture searchなど
  4. Efficient architectures
    • 例えば、画像分類におけるConv layerは画像全体でパラメータ共有する仕組み
    • 他にはseq2seq modelにおけるattention layer
  5. Infrastructure & Hardware
    • TFやPytorchなどのフレームワーク
      • TF LiteやPytorch mobileのような効率的なモデルのDeployに使われる

それぞれの分野を調べるのはそれなりに時間がかかるものですが、このサーベイ論文で概観を掴んで、必要なところだけ詳細に調べると良さそうです。これから、ちょっとずつ読んでみることにしようかな。