神经网络领域对抗训练。主要理解Gradient Reversal Layer。

Domain Adaptation(领域自适应)：

把具有不同分布的源域（Source Domain）和目标域（Target Domain）中的数据，映射到同一个特征空间，寻找某一种度量准则，让其在这个空间上 的距离尽可能地近。

源域和目标域通常具有不同分布，无法将源域训练好的分类器直接用于目标域样本的分类。因此，尝试做一个映射。

GAN用到domain adaptation中，生成器的目的是特征提取的功能，不再是生成样本。

本文创新点：对抗迁移网络，关注如何在不同域之间选择可供迁移的特征（transferable features）。

好的可迁移特征应该满足：

1. Domain-invariance - 面对这些特征，你无法区分它们是来自目标域还是源域。
2. Discriminativeness - 利用这些特征，你可以很好的完成分类任务、

domain adaptation 的网络损失由训练损失和域判别损失组成。

域对抗迁移网络（DANN）

绿色：特征提取，让标签预测器能够分辨来自源域数据类别的同时，域判别器无法区分数据来自哪个域。

蓝色：标签预测，对来自源域的数据分类，尽可能分出正确标签。

红色：域判别器，对特征空间数据分类，尽可能分出是哪个域。

特征提取和标签分类构成一个前馈神经网络，在特征提取器之后，加上一个域判别器，中间通过一个梯度反转层（gradient reversal layer GEL）连接。在训练过程中，对来自源域的带标签数据，不断最小化标签预测器的损失，对来自源域和目标域的全部数据，不断最小化域判别器的损失。

损失=标签预测器损失＋域判别器损失

GRL的作用：实现最大化二分类误差。

特征提取一个供标签预测和域判别共享的特征，这个特征有两个目标，最小化目标损失，最大化二分类误差。

标签预测的目标是最小化分类误差（即目标问题的loss），但B会对源域过拟合。

域判别器的目标是最小化二分类的误差，即尽可能区分两个域。