深度网络设计技巧(五)之VAN：Visual Attention Network#超越Swin的纯CNN#
发布时间：2022-12-31 20:00
单位：清华，南开（程明明团队）
ArXiv：https://arxiv.org/abs/2202.09741
Github: https://github.com/Visual-Attention-Network
导读：
今天了解一个卷积的新操作，即解耦卷积。说是新，其实旧，比如MobileNet为了高效率地推断，将一个标准的CNN看成一个Depth-wise CNN和Point-wise CNN，即解耦。本篇文章将一个更大的卷积核解耦成三个不同类型的CNN操作。虽然取得了超过众多SOTA的性能，但是在MLP中采用经典的DW-FFN，究竟是MLP带来了性能提升，还是大核注意力起了作用，有点存疑！
文章目录
- 摘要
- 一、网络设计
-
- 1.1 CNN与Self-Attention
- 1.2 大核注意力，LKA
- 1.3 几种注意力
- 1.4 MLP，多层感知器
- 1.5 复杂度分析