A ConvNet for the 2020s (ConvNeXt)
这篇paper的工作在于通过修改ResNet的一些基础设定使得它可以超越Transformer.
其实就是一个很简单的intuitition, 近年来ViT方面很多的进步在于利用局部特征, 尤其是SwinTransformer,很多的提升就是在尝试用回conv的特点但是又不显式地使用Conv, 本文就反过来,让Conv学习Transformer的一些特性,使得我们能够用Conv得到Transformer的性能.
提升路线图:
训练方法提升
- 使用AdamW优化器
- 提升训练epoch数
- 数据增强包含
- Mixup
- Cutmix
- RandAugment, RandomErasing.
- Stochastic Depth
- Label Smoothing
- Stochastic Depth (指随机不运行residual block)
模块提升
模块总结而言为以下图:
