深度学习笔记（三十四）经典卷积神经网络：LeNet-5 AlexNet VGG-16
发布时间：2023-03-06 15:00
文章目录
- 一、LeNet-5
- 二、AlexNet
- 三、VGG-16
一、LeNet-5
- CONV1 6个过滤器，过滤器尺寸为5，步长为1，填充为0
- POOL1 过滤器尺寸为2，步长为2
- CONV2 16个过滤器，过滤器尺寸为5，步长为1，填充为0
- POOL2 过滤器尺寸为2，步长为2
- FC3 全连接层120个神经元
- FC4 全连接层84个神经元
- OUTPUT 输出层10个神经元 Softmax回归
需要注意的几点：
- 在LeNet-5中，池化之后会加入非线性函数sigmoid
- 在当时LeNet-5用的是平均池化，放在现在通常使用最大池化
- 在当时LeNet-5用的不是Softmax回归进行分类，而是用的另一种小众的方法（暂时不需要学习）
二、AlexNet
- CONV1 96个过滤器，过滤器尺寸为11，步长为4，填充为0
- POOL1 过滤器尺寸为3，步长为2
- CONV2 256个过滤器，过滤器尺寸为5，有填充保证卷积后尺寸不变
- POOL2 过滤器尺寸为3，步长为2
- CONV3 384个过滤器，过滤器尺寸为3，有填充保证卷积后尺寸不变
- CONV4 384个过滤器，过滤器尺寸为3，有填充保证卷积后尺寸不变
- CONV5 256个过滤器，过滤器尺寸为3，有填充保证卷积后尺寸不变
- POOL5 过滤器尺寸为3，步长为2
- FC6 全连接层4096个神经元
- FC7 全连接层4096个神经元
- OUTPUT 输出层1000个神经元 Softmax回归
需要注意的几点：
- 虽然AlexNet和LeNet-5相似，但是AlexNet比LeNet-5大得多
- AlexNet可以处理相似的基本构造模块，这些模块往往包含大量隐藏单元和数据
- AlexNet使用了ReLU激活函数，这是一个优势
- 在写AlexNet这篇论文的时候，GPU处理速度还很慢，所以采用的方法是在两个GPU上训练，将每一层分拆到两个GPU上工作
- AlexNet经典网络的论文中提到LRN层（局部响应归一化层），现在发现这样做并没有多好，所以现在并不用LRN层训练网络
三、VGG-16
何为VGG-16？其中16的意思就是卷积层和全连接层共16层。
需要注意的几点：
- VGG-16一共是16层卷积层加全连接层
- 这种网络结构非常工整，卷积层专注于尺寸为3的过滤器，步长为1，padding类型为same；池化层专注于尺寸为2的过滤器，步长为2
- 在多个卷积层后跟一个压缩尺寸的池化层
- 仔细观察，每一层的通道数和图像高宽都呈现明显的2倍规律
- 缺点就是训练的特征数量非常大
- 还有论文介绍VGG-19，但是16和19表现不相上下，更多人选择VGG-16