ECCV-2018-StructSiam: Structured Siamese Network for Real-Time Visual Tracking阅读笔记

论文地址：
http://openaccess.thecvf.com/content_ECCV_2018/papers/Yunhua_Zhang_Structured_Siamese_Network_ECCV_2018_paper.pdf
代码地址：(没有开源？)

一、 动机

现有的基于深度学习的目标追踪方法大多是从全局角度描述目标外观，对非刚性目标的外观变化和局部遮挡比较敏感，为解决该问题，作者提出了一种局部结构学习方法。该方法同时考虑目标的局部模式及其结构关系，更灵活地处理非刚性外观变化和部分遮挡，从而实现更精确的目标追踪。

二、 主要贡献

① 提出了一种局部模式检测方案，该方案能够自动识别目标物体具有鉴别性的局部部分。
② 通过可微运算实现了消息传递过程，并通过神经网络模块对其进行了重构。通过这样做，网络可以以端到端方式同时学习本地模式和本地模式之间的关系。这将产生更精确的跟踪结果。
③ 提出了一种新的基于Siamese网络的匹配框架，该框架将这些新技术依次应用和集成，并实时运行。在三个被广泛采用的基准上进行的广泛评估表明，所提出的方法在跟踪精度和效率方面优于最先进的方法。

三、 主要内容

算法架构：

由三个模块组成：局部模式检测器、上下文建模模块、集成模块
① 局部模式检测器
局部模式检测器由两个卷积层组成，核大小分别为11 × 11和5 × 5。每个卷积层后面都跟着一个批处理归一化层，一个ReLU层和一个3×3最大池化层。该模块以图像裁剪为输入，检测目标外观的局部模式。输出特征图有256个通道，每个通道对应一个特定的局部模式。这样的低层次特征保留有更详细的信息。但局部模式检测器有一个主要缺点，就是各个像素的通道互相独立，忽略了他们之间的上下文关系。因此，作者又在此基础上，引入了上下文建模模块进行细化。

② 上下文建模模块（没有看明白 ，各位请赐教！）
为了将各个通道之间的联系性利用起来，利用CRF进行一系列计算。使得每个本地模式都接收来自其他模式的消息，并将其视为上下文信息，整个网络进行端到端训练。



设Xi为与像素i相关的随机变量，c为feature map的通道大小。N为特征图中的像素个数,wi,j为卷积核和bi （i = 1, …, N）为像素i的偏置, 对局部模式响应图中的所有位置来说都是参数共享的，并且为了防止传递自身信息将wi,j=i设为0。将E(x)最小化可得到输入图像最可能的局部结构分布。

③ 集成模块
上下文建模模块的输出映射能够捕获精确的本地模式信息。由于不同的局部模式对应目标区域的不同位置，直接将模板与搜索区域关联起来容易产生变形。所以使用卷积操作使得最终地图中的每个像素都表示一个区域的局部模式信息，最终相关性找到包含与目标相同的局部模式的像素(作为目标的中心)。通过这种方法可以在一定程度上减小剧烈变形变化引起的特征变化。

四、 实验结果

训练数据集：ILSVRC2014 VID和 ALOV
评测数据集：OTB2013、OTB2015、VOT2016、