論文のURL:https://arxiv.org/pdf/2106.08962.pdf
深層学習は、ビジョンや自然言語処理、音声認識など様々な分野で飛躍的な進歩をもたらしましたが、モデルの改良が進むにつれてパラメータ数やレイテンシー、学習に必要なリソースなどが大幅に増えており、単にモデルの品質だけでなく、これらの指標にも注目する必要があります。
この論文は、深層学習における効率性の問題に対し、モデルの効率性に関する5つの主要素のサーベイ論文になっています。
5つのそれぞれを要約すると、
- Compression techniques
- 例えば、量子化(32bit floatではなく8bit intに精度を削減)
- Learning techniques
- 例えば、distillation
- 教師モデルの知識をパラメータ数の少ない生徒モデルが学習
- 例えば、distillation
- Automation
- 例えば、ハイパーパラメータ最適化(HPO)
- 他にはarchitecture searchなど
- Efficient architectures
- 例えば、画像分類におけるConv layerは画像全体でパラメータ共有する仕組み
- 他にはseq2seq modelにおけるattention layer
- Infrastructure & Hardware
- TFやPytorchなどのフレームワーク
- TF LiteやPytorch mobileのような効率的なモデルのDeployに使われる
- TFやPytorchなどのフレームワーク
それぞれの分野を調べるのはそれなりに時間がかかるものですが、このサーベイ論文で概観を掴んで、必要なところだけ詳細に調べると良さそうです。これから、ちょっとずつ読んでみることにしようかな。