在序列对序列学习中纳入复制机制

我们讨论了序列到序列（Seq2Seq）学习中的一个重要问题，该问题被称为复制，即输入序列中的某些片段被选择性地复制到输出序列中。在人类的语言交流中也可以观察到类似的现象。例如，人类倾向于在对话中重复实体名称或甚至长短语。在Seq2Seq中复制的挑战是需要新的机器来决定何时执行该操作。在本文中，我们将复制纳入基于神经网络的Seq2Seq学习中，并提出了一个名为CopyNet的编码器-解码器结构的新模型。CopyNet可以很好地将解码器中常规的单词生成方式与新的复制机制结合起来，后者可以在输入序列中选择子序列并将其放在输出序列的适当位置。我们对合成数据集和真实世界数据集的实证研究证明了CopyNet的功效。例如，CopyNet在文本总结任务中的表现明显优于基于RNN的常规模型。