发布时间：2023-10-13 13:30
文本的生成模型通常经过训练，以使用反向传播在给定前一个 ground-truth 单词的情况下最大化下一个 ground-truth 单词的可能性。这种方法被称为 ”Teacher Forcing“ 。但是，这种方法会在训练和测试之间造成不匹配，因为在测试时，模型使用模型分布中先前生成的单词来预测下一个单词。这种 exposure bias 会导致测试时生成过程中的错误累积，因为该模型从未暴露于自己的预测中。
之前这个问题是用 “Professor Forcing” 解决的，它使用对抗训练，来使从网络中采样的上文词汇尽量贴合 ground truth。但之前的方法，模型训练的时候用的是cross entropy loss，而evaluate的时候却用的是BLEU、ROUGE、METEOR、CIDEr等评价指标，存在不对应的问题。
由于生成单词的操作是不可微的，无法通过反向传播来直接优化这些metrics，因此很多工作开始使用强化学习来解决这些问题。但强化学习在计算期望梯度时的方差会很大，通常来说是不稳定的。又有些研究通过引入一个baseline来进行偏差校正。还有一些方法比如Actor-Critic，训练了一个critic网络来估算生成单词value，但这些也是不稳定的。