使用Gumbel-Greedy解码的神经机器翻译

以前的神经机器翻译模型使用一些启发式搜索算法（如波束搜索），以避免在测试时解决翻译句子的最大后验问题。在本文中，我们提出了Gumbel-Greedy Decoding，它训练了一个生成网络来预测训练过的模型下的翻译。我们使用Gumbel-Softmax再参数化来解决这样的问题，这使得我们的生成网络可以通过标准的随机梯度方法进行区分和训练。我们通过经验证明，我们提出的模型对于生成离散词的序列是有效的。