适应机器翻译模型到新领域
结合弹性权重巩固和数据混合能在旧任务和新任务性能之间实现更好的权衡。
多领域适应的挑战
神经机器翻译系统通常针对特定文本类型或领域进行优化，如报纸文章、用户手册或客户支持聊天。多领域适应是指将现有神经机器翻译模型适应到新领域，同时保持原始领域的翻译质量。
在工业环境中，每个语言对部署单一翻译系统更易于维护。此外，服务提供商可能无法预知客户感兴趣的领域。
创新方法：结合两种技术
该方法结合了弹性权重巩固（EWC）和数据混合两种领域适应技术，并建立了理论联系解释它们的协同效应。
两种技术都旨在防止灾难性遗忘——模型在学习新任务时忘记原有任务。EWC约束模型参数的更新方式，而数据混合是一种数据驱动策略，同时向翻译系统展示新旧数据。
实验成果
在德语到英语和英语到法语的翻译系统实验中，EWC与数据混合结合相比单独使用EWC，在现有任务上的性能分别提高了2个和0.8个BLEU分数，同时在新任务上保持相当性能。
与单独使用数据混合相比，结合EWC提供了控制新旧任务性能平衡的参数。
技术细节
标准EWC损失函数假设学习的任务是条件独立的，但这在翻译中不太可能成立。研究放松了这一假设，推导出包含新假设的损失函数，该函数相当于将现有数据样本混合到新数据中。
实际应用价值
多领域适应对于机器翻译服务具有重要价值，该服务支持数百种语言间的翻译，服务于日益增长和多样化的客户使用场景和领域。
研究领域：对话式AI
标签：机器翻译，多任务学习，EMNLP
相关出版物：改进神经机器翻译多领域适应的质量权衡
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
