论文部分内容阅读
机器翻译评价一直引导着机器翻译技术的发展。然而,目前机器翻译自动评价方法与人工评价尚有距离。研究人员进行诸多努力如在字面匹配的基础上引入更多语言学知识;进行方法融合。但让人沮丧的是,上述方法获得的性能提高有限。机器翻译系统的最终目标为用户服务,因此由用户来回答译文质量,无疑更贴近用户,更真实。这就是基于用户反馈的机器翻译评价的核心思想。现在多数研究主要是关于基于专家反馈的翻译自动评价,尚无基于普通用户群体反馈的翻译自动评价。同时上述研究未能揭示在正常翻译应用场景中,用户行为从什么角度在怎样的程度上反映人对翻译结果的认知,也没有回答根据用户行为是否能够独立地进行翻译评价,也未回答在众包服务中自动后编辑技术的应用潜力。为了回答上述问题,本文在以下方面进行探索:设计用户任务,进行仿真用户实验,收集用户反馈信息,作为普通用户群体仿真反馈;从用户反馈信息中,抽取多个用户行为特征,研究其与用户翻译质量认知之间的相关性。构造多个行为特征组合,在机器学习方法的支持下,证实基于用户行为特征的翻译自动评价的实用价值。在分析各个行为特征在翻译自动评价建模中的贡献后,进行特征选择,优化用户行为特征组合;分析5个在线翻译系统的翻译错误类型分布后,利用原始翻译与用户修改后的译文对照进行普通用户编辑模式识别、分析,揭示自动后编辑技术的应用潜力,并探讨利用用户后编辑文本进行自动后编辑模型训练的可行性和实际性能。我们的研究有如下发现:1)基于直觉抽取的用户行为与人工评价显著相关。基于用户行为的翻译评价方法是可靠的。有效的特征组合精简,能进一步提高其性能。2)用户反馈质量对该方法的影响较大。3)自动后编辑技术有其应用价值,然而利用特定翻译系统的原始和人工编辑后语料训练获得的基于短语的统计后编辑模型并不总能改进其他翻译系统的翻译质量。