从一般到特殊。使用领域转换网络的多领域翻译

从一般到特殊。使用领域转换网络的多领域翻译
李安国教授
2022年10月5日
研究

多领域翻译的关键挑战在于如何在一个统一的模型中同时编码各领域共享的一般知识和各领域特有的知识。以前的工作表明,在混合领域数据上训练的标准神经机器翻译(NMT)模型通常能捕捉到一般的知识,但却忽略了特定领域的知识。针对这个问题,我们用额外的领域转换网络来增强NMT模型,将一般的表征转换为特定领域的表征,然后再将其输入NMT解码器。为了保证知识转化,我们还利用知识提炼和对抗性学习的力量,提出了两个互补的监督信号。在几个语言对上的实验结果,涵盖了平衡和不平衡的多领域翻译,证明了所提方法的有效性和普遍性。令人鼓舞的是,所提出的统一模型取得了与微调方法相当的结果,后者需要多个模型来保留特定的知识。进一步的分析显示,领域转换网络如预期的那样成功地捕获了特定领域的知识。

从一般到特殊。使用领域转换网络的多领域翻译

麻省理工学院学士丶硕士丶博士;香港大学电子工程系首席教授;清华大学长江学者;IEEE院士,香港工程科学院院士;香港特别行政区铜紫荆勋章获得者。