发布时间:2024-06-06 08:01
这篇文章主要创新点是:使用多尺度残差块充分提取图片特征
(1)目前的研究倾向于使用更深层次的卷积神经网络来提高性能。但是随着网络深度的增加,训练过程中出现的问题越来越多,需要更多的训练技巧。导致很多方法难以复现;
(2)特征利用不足,随着网络深度的增加,特征在传输过程中逐渐消失。如何充分利用这些特征,是网络重建高质量图像的关键;
(3)可扩展性差;
提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征:
(1)使用MSRB来获取不同尺度的图像特征(局部多尺度特征)。
(2)将每个MSRB的输出组合起来进行全局特征融合(HFFS,一个以1×1卷积核为瓶颈层)。
将局部多尺度特征与全局特征相结合,最大限度地利用LR图像特征,彻底解决特征在传输过程中消失的问题。
还设计了一个简单而高效重建结构可以很容易地实现多尺度的放大。
网络分为(1)特征提取部分;(2)重建部分
特征提取部分又分为:(1)多尺度残差块(MSRB);(2)层次特征融合结构(HFFS)
损失函数采用L1损失。
由图可以看出,MSRB由多尺度特征融合和局部残差学习组成
多尺度特征融合:
局部残差学习:
随着深度的增长,网络的空间表达能力逐渐下降,而语义表达能力逐渐增强。此外,每个MSRB的输出都包含不同的特性。因此,如何充分利用这些层次特征将直接影响重建图像的质量。本文采用了一种简单的层次特征融合结构。我们将MSRB的所有输出发送到网络的末端进行重构。一方面,这些特征图包含了大量的冗余信息。另一方面,将它们直接用于重建将大大增加计算复杂度。为了自适应地从这些层次特性中提取有用的信息,我们引入了一个瓶颈层,这对于具有1×1卷积层是必不可少的。层次特征融合结构(HFFS)的输出可以表示为:
说了这么多。、,实际就是把每一层的输出进行拼接,之后用1×1卷积核做卷积(bottleneck)。。改变通道数量,称之为特征融合。。
重建部分设计的比较简单,将之前的A.B.C部分进行简化,得到新的重建结构。
每个多尺度残差网络的输出都被用作全局特征融合的分层特征,最终,所有这些特征都在重建模型中用于修复高分辨率图像。
作者在没有任何初始化或技巧的情况下,用DIV2K数据集训练网络,证明了这可以解决我们上述提到的第一问题:复现性差。
可以看看论文中给出的结果: