深度网络架构的设计技巧(三)之ConvNeXt：打破Transformer垄断的纯CNN架构
发布时间：2022-08-19 12:11
单位：FAIR (DenseNet共同一作，曾获CVPR2017 best paper)，UC伯克利
ArXiv：https://arxiv.org/abs/2201.03545
Github：https://github.com/facebookresearch/ConvNeXt
导读：提到“年代”一词，不免让人提前设想当时有如何的大事件或大人物。正当其时的“2020s”年代，从Transformer开始，引爆了一股“咆哮”的热潮，各种框架层出不穷，借用凯明一句话“without bells and whistles”，沉淀下来的实用性如何？本文作者长篇分析设计CNN架构的若干技巧，对照Swin Transformer的设计理念，渐进式“现代化”改造ResNet，取得了良好的效果，对深度网络的设计具有较大的参考价值。 ConvNeXt在与Transformer的较量中，给CNN掰回一局。
目录
- 摘要
- 一、引言
- 二、现代化ConvNet：路线图
-
- 2.1 训练技巧
- 2.2 宏观设计
- 2.3 ResNeXt-ify
- 2.4 倒置BottleNeck
- 2.5 大核的尺寸
- 2.6 微观设计