FANOVATION 2023 成功邀请 80 多位高层管理人员参与生成式人工智能讨论
2023年10月31日
[研究]
多领域翻译的关键挑战在于如何在一个统一的模型中同时编码各领域共享的一般知识和各领域特有的知识。以前的工作表明,在混合领域数据上训练的标准神经机器翻译(NMT)模型通常能捕捉到一般的知识,但却忽略了特定领域的知识。针对这个问题,我们用额外的领域转换网络来增强NMT模型,将一般的表征转换为特定领域的表征,然后再将其输入NMT解码器。为了保证知识转化,我们还利用知识提炼和对抗性学习的力量,提出了两个互补的监督信号。在几个语言对上的实验结果,涵盖了平衡和不平衡的多领域翻译,证明了所提方法的有效性和普遍性。令人鼓舞的是,所提出的统一模型取得了与微调方法相当的结果,后者需要多个模型来保留特定的知识。进一步的分析显示,领域转换网络如预期的那样成功地捕获了特定领域的知识。