深度网络设计技巧(五)之VAN：Visual Attention Network#超越Swin的纯CNN#
发布时间：2022-10-04 10:30
单位：清华，南开（程明明团队）
ArXiv：https://arxiv.org/abs/2202.09741
Github: https://github.com/Visual-Attention-Network
导读：
今天了解一个卷积的新操作，即解耦卷积。说是新，其实旧，比如MobileNet为了高效率地推断，将一个标准的CNN看成一个Depth-wise CNN和Point-wise CNN，即解耦。本篇文章将一个更大的卷积核解耦成三个不同类型的CNN操作。虽然取得了超过众多SOTA的性能，但是在MLP中采用经典的DW-FFN，究竟是MLP带来了性能提升，还是大核注意力起了作用，有点存疑！
文章目录
- 摘要
- 一、网络设计
-
- 1.1 CNN与Self-Attention
- 1.2 大核注意力，LKA
- 1.3 几种注意力
- 1.4 MLP，多层感知器
- 1.5 复杂度分析
相关推荐
10k+点赞的SpringBoot后台管理系统竟然出了详细教程！爱了！
Pandas 写入 Excel 的几种情形与方式,覆盖,新增,追加,对齐
[Linux]解决Ubuntu虚拟机手动扩容后无法进入系统问题
android反编译工具！开发者必备的顶级Android开发工具，大厂直通车！
（20180812_2312）软件测试工程师发展方向知识架构体系
SpringCloud Alibaba study-4-Ribbon和LoadBalancer (微服务负载均衡器)
python中matplotlib库的作用_python数据分析之matplotlib库
高阶JavaScript笔记2（函数，回调函数，IIFE，函数中的this，语句加分号的问题，原型， 显式原型和隐式原型，原型链，原型链的补充，原型链的属性问题，探索instanceof，原型面试题）