句子级机器翻译质量自动评估方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:ji1ji2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译技术在全球化中扮演着十分重要的角色。随着全球化推进,机器翻译技术也在不断地进步,尤其是近些年来神经机器翻译技术的出现,将机器译文质量提升到了新的高度。尽管如今机器翻译技术达到了较高水平,但不少机器译文仍存在着错译、漏译、过译等问题。因此,机器翻译系统用户对实时掌握机器译文质量存在着较大需求。机器翻译质量自动评估(又称机器翻译译文质量估计,Machine Translation Quality Estimation,QE)是指在不需要人工参考译文的条件下,估计机器翻译系统产生的译文的质量,对机器翻译研究和应用具有很重要的价值。现有的机器翻译质量估计方法可分为三类,分别为:基于特征工程和机器学习的QE方法、基于深度学习的QE方法、融入预训练模型的QE方法。传统的基于特征工程和机器学习的QE方法严重依赖人工设计特征及语言学资源与分析,效果欠佳且缺乏通用性。基于深度学习的QE方法的出现在无需依赖人工设计特征及语言学资源的同时大大提升了QE模型效果。融入预训练模型的QE方法较前两类方法有了效果上的进一步提升,但该类方法对数据及硬件要求高,且并未脱离预测器-估计器框架。这些基于预测器-估计器框架存在着两个主要问题:1)预测器训练阶段与估计器训练两阶段分别使用不同类型数据进行训练,且两类数据存在着巨大数据量差异,导致模型缺少鲁棒性;2)源语言信息需要经过多次处理才能到达估计器,源语言信息是否参与(或参与多少)译文质量估计任务无法判断。针对上述两个问题,本文开展了以下工作:(1)针对问题1),本文从提升模型鲁棒性出发,在保留原有预测器-估计器架构的基础上(原有预测器作为主预测器),在预测器部分增加了混合预测器模型。使用伪噪声数据构造的方法针对平行语料构造带噪声的翻译,并使用带噪声的翻译对混合预测器进行训练,同时使用不带噪声的标准翻译对主预测器进行训练,并加入鲁棒性正则模块使主预测器与混合预测器能够正确区分标准翻译与带噪声的翻译,减小因带噪训练数据不足对预测器无法区分译文是否带噪的影响,突破预测器-估计器框架预测器训练阶段与估计器训练阶段数据量差异巨大而导致的模型鲁棒性不足的问题。(2)针对问题2),本文从增加源语言信息在估计器中的参与度出发,尝试了添加源语言正则模块的方法,将源语言信息直接输入源语言正则模块,并对源语言句子和带噪声的目标语言句子进行语义相似度建模,使估计器模型获得更多源语言信息,加强其对译文质量的评估能力。本文将以上两个工作整合为基于鲁棒性正则与源语言正则的QE方法,在WMT17-20英-德QE任务数据集上进行了实验。实验结果验证了本文方法对于解决预测器-估计器框架当前存在的上述两个问题的有效性。此外,为更好展现机器翻译质量估计技术的实用性及本文方法的效果,本文搭建了在线译文质量估计系统,使机器翻译系统能够自动过滤质量较差译文,帮助机器翻译系统用户实时了解译文质量。
其他文献
报纸
随着机器学习的迅速发展,卷积神经网络(convolutional neural network,CNN)作为最受欢迎的算法之一,在图像处理、语音识别、数据挖掘等等众多领域得到了广泛的应用。近年来,人工智能物联网(Artificial Intelligence&Internet of Things,AIo T)的迅速崛起对边缘设备的实时性和智能性提出了越来越高的要求,促使卷积神经网络算法硬件化成为了
学位
时间序列预测是人们组织和利用信息的一种重要手段。预测可以提前获知事物在未来一段时间的发展趋势,并为之后的应用提供参考和指导。随着物联网时代的到来,在智慧交通、智能电网等代表性应用中,人们借助“物联网+”技术能够采集到大量数据,并通过分析数据来得到服务。深度学习方法能够由数据驱动来构建统计模型,并利用模型对数据进行分析。近几年,语言模型Transformer被很多工作迁移到时间序列预测任务中,并有着
学位
报纸
蛋白质的稳定供应是保障人民健康和国家安全的重要基础之一,作为传统农业种植生产模式的补充或彻底替代方案,微生物蛋白制造能够通过高时空生产效率、不依赖耕地的车间制造方式,生产供应蛋白质原料.本文描述了发展微生物蛋白的需求,综述了微生物蛋白制造的发展,介绍了主要的生产菌株,并以3种大宗原料类型食品工业与农业副产物、能源化工品、二氧化碳及其衍生富能化合物为主线,阐述了主要的微生物蛋白生产路线,分析了不同生
期刊
<正>安检法小区是沈阳市和平区南湖街道文安路社区所辖小区之一,始建于2000年,共有居民400余人。2006年,小区遭遇物业弃管,一时间,垃圾随便扔、东西随便放、外人随便进、车辆随便停,盗窃案时有发生,居民怨声载道……为了有效走出治理困境,文安路社区党委创新推出了“党建引领居民参与”的新模式,并通过17年不懈努力,成功破解了安检法小区治理难题,使这个无物业老旧小区重新焕发生机。
期刊
目的:探讨抗阻运动加速导管相关性血栓(CRT)溶解再通作用效果,为抗阻运动辅助治疗CRT提供理论依据。方法:144只SD雄性大鼠随机分为CRT对照组、CRT+抗阻运动组、CRT+血红素氧合酶-1(HO-1)激动剂钴原卟啉(COPP)组、CRT+HO-1抑制剂锡原卟啉(SnPP)组,每组36只。构建大鼠CRT模型,置管10天后进行抗阻运动、腹腔注射COPP及SnPP处理,CRT对照组不做处理。干预后
期刊
目的 探讨增强CT在儿童肾透明细胞肉瘤(CCSK)与肾母细胞瘤(WT)鉴别诊断中的临床价值。方法 选60例疑似CCSK/WT患儿均进行增强CT、病理学检查,对比2项检验结果,并分析增强CT的检查征象。结果 经病理切片免疫组织化学染色法诊断,CCSK患儿有23例(38.33%),均为单侧发病,左侧17例,右侧6例,瘤体昀大径5.26~15.62cm,未发现转移病灶;WT患儿有37例(61.67%),
期刊
近些年,深度学习在计算机视觉、语音识别、自然语言处理等领域取得了令人瞩目的成就。特定的深度学习模型在特定任务取得了成功,这种成功体现在两个方面,一是其热门且应用广泛,二是其泛化性能较传统机器学习方法表现优异。尽管这种基于深度神经网络的模型效果非常好,但其模型复杂度高,缺乏可解释性,缺乏完备有效的模型选择方法,是一个黑盒模型,理论分析和实证研究表明深度学习模型的VC维渐进无穷大、拉德马赫复杂性渐进趋
学位
知识库问答是自然语言领域非常重要的任务之一,它显著降低了用户访问知识库内容的难度。使用知识库问答使得回答更加精细化准确化,但知识库问答相比于传统的基于关键字的搜索方式来说,也面临了新的问题,即空结果问题。为了避免空结果问题,从而提高知识库问答的准确率,我们提出了一种基于SPARQL推荐的知识库问答方法。语义解析与信息抽取是实现知识库问答系统的两种主要方法。现有KBQA方法大多属于这两种类型。它们有
学位