深度网络设计技巧(五)之VAN：Visual Attention Network#超越Swin的纯CNN#
发布时间：2022-10-04 10:30
单位：清华，南开（程明明团队）
ArXiv：https://arxiv.org/abs/2202.09741
Github: https://github.com/Visual-Attention-Network
导读：
今天了解一个卷积的新操作，即解耦卷积。说是新，其实旧，比如MobileNet为了高效率地推断，将一个标准的CNN看成一个Depth-wise CNN和Point-wise CNN，即解耦。本篇文章将一个更大的卷积核解耦成三个不同类型的CNN操作。虽然取得了超过众多SOTA的性能，但是在MLP中采用经典的DW-FFN，究竟是MLP带来了性能提升，还是大核注意力起了作用，有点存疑！
文章目录
- 摘要
- 一、网络设计
-
- 1.1 CNN与Self-Attention
- 1.2 大核注意力，LKA
- 1.3 几种注意力
- 1.4 MLP，多层感知器
- 1.5 复杂度分析
相关推荐
详细图解 Netty Reactor 启动全流程 | 万字长文 | 多图预警
史上最详细微信小程序授权登录与后端SprIngBoot交互操作说明，附源代码，有疑惑大家可以直接留言，蟹蟹 2021.11.29 完善更新小程序代码，2022.4.27 更新
密歇根大学联合谷歌大脑提出，通过「推断语义布局」实现「文本到图像合成」
插件报错：SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“.解决方案
网络编程（三）：Linux 网络IO模型、select、pool、epoll 内核设计
自制狂拍灰太狼小游戏（HTML+CSS+JavaScript）
labview入门到出家11(补充)——基于单片机和labview开发的虚拟示波器