通过忽略虚假的相关关系来改进零散的神经机器翻译

通过忽略虚假的相关关系来改进零散的神经机器翻译
李安国教授
2022年10月5日
研究

零点翻译,即在神经机器翻译(NMT)系统从未训练过的语言对之间进行翻译,是在多语言环境中训练系统时出现的一种特性。然而,零点翻译的天真训练很容易失败,而且对超参数设置很敏感。其性能通常远远落后于更传统的基于支点的方法,该方法使用第三种语言作为支点进行两次翻译。在这项工作中,我们通过定量分析源句子和解码句子的语言ID之间的相互信息,解决了由于捕捉虚假的关联性而导致的退化问题。在这一分析的启发下,我们提出使用两种简单而有效的方法:(1)解码器预训练;(2)回译。在三个具有挑战性的多语言数据集上,这些方法比虚无缥缈的零点翻译有了明显的改善(4~22个BLEU点),并取得了与基于枢轴的方法类似或更好的结果。

通过忽略虚假的相关关系来改进零散的神经机器翻译

麻省理工学院学士丶硕士丶博士;香港大学电子工程系首席教授;清华大学长江学者;IEEE院士,香港工程科学院院士;香港特别行政区铜紫荆勋章获得者。