【活动通知】SFFAI98×CRIPAC 模型架构设计专题

SFFAI 合作机构 CRIPAC 简介

智能感知与计算研究中心（www.cripac.ia.ac.cn）为中科院自动化研究所独立建制的科研部门，致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理。瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制，努力打造成为国际一流的研究中心，是集人才培养、技术创新、产业孵化为一体的创新平台。中心目前主要在多模态智能计算、生物识别与安全、生物启发的智能计算、智能感知基础理论四个方面展开科学研究。

会议内容

会议简介

如何设计一个高性能且实用的网络架构是一项有趣且有重大意义的研究问题。本期我们邀请到了来自清华大学的丁霄汉同学，介绍他设计的一种VGG式单路极简卷积网络架构，这种架构实现简单、速度快、性能高，可以仅通过堆加数个卷积层就实现原有模型的精度提升。

讲者介绍

丁霄汉，清华大学在读博士生，导师为丁贵广副教授。主要研究方向为卷积神经网络的设计与优化。曾在CVPR,ICML,ICCV,NeurIPS等会议上作为第一作者发表论文5篇。曾获2019年百度奖学金。RepVGG是在旷视科技实习期间和张祥雨博士等人合作的工作。

会议题目

RepVGG：让VGG式极简卷积网络Great Again

会议摘要

我们提出一种VGG式单路极简卷积网络架构，一路3x3卷到底，在速度和性能上达到SOTA水平，在ImageNet上超过80%正确率。这一架构是用“结构重参数化”方法实现的，训练时模型具有多分支结构，训练完成后等价转换为单路3x3卷积架构。

会议亮点

1、提出的是一种极其简单、非常实用、速度快、性能高的通用卷积神经网络架构；

2、不用NAS，不用attention，不用各种新颖的激活函数，甚至不用分支结构，只用3x3卷积和ReLU，也能达到SOTA性能；

3、“结构重参数化”方法的实现非常简单，写成代码不过三十行。

直播时间

2021年1月24日（周日）20:00-21:00  线上直播

关注本公众号，对话框回复“SFFAI98”，获取入群二维码

注：直播地址会分享在交流群内

论文推荐

“ 《SFFAI 98期—模型架构设计专题》来自来自清华大学的丁霄汉同学推荐的文章主要关注于模型架构设计领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI98"获取本主题精选论文

经典论文

01

推荐理由：经典VGG架构。

—— 丁霄汉

02

推荐理由：ResNet的shortcut是本文灵感来源之一。

—— 丁霄汉

03

推荐理由：ResNeXt是众多现代ResNet类模型（如RegNet）的基础。

—— 丁霄汉

前沿论文

04

推荐理由：RegNet使用大量人工迭代设计的方法优化卷积网络架构。

—— 丁霄汉

05

推荐理由：NAS+复合缩放策略。

—— 丁霄汉

06

推荐理由：实用高效网络设计的诸多思考和指导原则。

—— 丁霄汉

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

SFFAI历史活动

• SFFAI 97 三维点云检测专题
  

• SFFAI 96 目标检测专题
  

• SFFAI 95 因果推理专题
  

• SFFAI 94 人脸生成专题
  

• SFFAI 93 知识图谱专题
  

• SFFAI 92 AI研究启航指南

• SFFAI 91 组合泛化专题
  

• SFFAI 90 超分辨率专题
  

• SFFAI 89 三维几何学习专题
  

• SFFAI 88 对话生成专题
  

• SFFAI 87 异构网络挖掘专题

• SFFAI 86 学术人生专栏
  

• SFFAI 85 情感分析专题
  

• SFFAI 84 句法分析专题
  

• SFFAI 83 对抗样本专题