基于联合学习的中英神经机器翻译方法研究

来源 :陕西科技大学 | 被引量 : 0次 | 上传用户:lgyangell
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于深度学习的神经机器翻译技术显著提高了机器翻译的质量,但是仍然存在很多问题。其一,模型训练存在着数据稀疏问题,实际任务中通常难以获得充足的平行语料库进行模型训练,这使得模型在面对低资源领域的翻译任务中,翻译效果难以达到预期;其二,多层级联的网络结构将表示信息传递到末层,但在一定程度上会损失中间层捕获到的有效信息,而且,利用最大似然估计原理的训练方法所构建的损失函数是以词为单元的,在句子或者篇章级别翻译任务中,效果较差,而且会存在训练阶段与测试阶段的不一致性问题;其三,在机器译文的评测方面,传统方法多采用BLEU、NIST等评测指标,这些指标仅衡量了译文评测的单方面信息,考虑不够全面。本文针对上述问题,进行了相关的研究,主要工作如下:第一,针对双语平行语料获取困难的难题,对语料的扩充技术进行了研究,提出了基于EM算法的语料生成联合学习方法,将EM算法应用于神经机器翻译模型Transformer的训练中,语料生成任务作为主任务,Transformer的训练作为辅助任务,利用机器译文对平行语料库进行扩充。通过实验,验证了这种方法的有效性。第二,针对多层级联的深度模型所造成的中间层信息损失以及基于最大似然估计的训练方法存在的不足,本文提出了层聚合的神经机器翻译模型与对抗性训练算法,利用联合学习的方法,一方面以Transformer模型作为基线模型,通过增加合并层对Transformer进行改进,以加强中间隐藏层之间的关联;另一方面,将新模型的训练作为主任务,将句子分类任务作为辅助任务,主辅任务模型采用对抗性训练和强化学习的思想进行联合训练。通过实验,验证了这种方法的有效性。第三,针对机器翻译单一指标的评测方法存在的不足,对机器译文评测方法进行了研究,利用机器学习的方法对机器译文评测参考体系的不同方面进行了综合考虑,利用模型驱动的思想和联合学习的方法,提出了两种改进的方法。其一,利用改进的Transformer结合SVM进行译文评测模型的构建;其二,采用BERT结合BiGRU以及全连接网络进行译文评测模型的构建。通过实验,验证了这种方法的有效性。本文以中英机器翻译为背景,采用联合学习的思想,通过主辅任务模型的联合训练,扩充了双语平行语料、优化了 Transformer模型和训练算法、改善了机器译文评测体系。联合学习作为本文工作的核心思想,在未来的研究中,希望将这一思想应用于其他自然语言处理任务中。
其他文献
2006~2007年,中国传媒大学电视与新闻学院广播电视新闻学博士谢勤亮在写作博士论文《影像与历史:年鉴学派视野下的中国纪录片》期间,对央视、凤凰卫视、中央新影、上视纪实频
<正>1问题提出随着阳光体育运动的开展,跳绳运动逐渐被越来越多的学校吸收和推广。由于传统的跳绳运动比较单一,学生参与积极性不高。为此,很多体育工作者把花样跳绳引入校园
张山雷(1873-1934),名寿颐,江苏省嘉定县(今属上海市)人。张氏19岁入泮。为邑庠生(秀才)。平时广泛涉猎诸子百家之书,尤精于朴学训诂。后因母病而弃儒习医,并随当地老中医俞德桴、侯春
随着人口老龄化、老年疾病低龄化的发生,我国已经进入慢性病高发期。当下社会急需一套科学合理行之有效且较为健全完善的慢性疾病管理体系。与此同时《中国心血管病报告2019
在教育信息化趋势的推动下,基础教育的教学设备不断更新,其中交互智能平板便是应运而生的设备之一。交互智能平板作为一款新型先进的教学设备,它兼具黑板与多媒体投影教学的优势,在教学中将其充分利用,有利于提升教学成效。苏州市工业园区中小学早已引入了交互智能平板,且交互智能平板在初中历史教学中的应用得到了师生的普遍认可,但如何发挥交互智能平板在初中历史教学中的优势,提高其在课堂中运用的效率,这一问题仍未得到
本文围绕比较优势分析了中央和地方出台产业政策的特征规律。我们发现,中央选择的重点产业仅在东部地区具备或能够培育起比较优势,在中西部则不然。与此同时,在地方尤其是中
<正>本文详细介绍了我国农村中小学校开展大课间活动的必要性,以及我国农村中小学校开展体育大课间活动的现状,针对这些现状在未来青少年培养政策中应该进行哪些改革,确保我
地下空间是宝贵的自然资源和重要的战备资源,其类型有自然洞穴、人工洞穴、地下建筑物和地下建筑物等。与地面空间相比,城市地下空间具有良好的防护性、密闭性、稳定性和显著
人体内的黄嘌呤氧化酶(Xanthine Oxidase,XO)主要分布在肝脏与肾脏中,负责调节嘌呤分解代谢,促进次黄嘌呤和黄嘌呤向尿酸转化,同时伴随着超氧阴离子(O2-)的生成。当体内XO活
随着三维几何模型的研究对象逐渐从低层次的几何属性迈向高层次的语义属性,对称性的分析已成为几何处理领域的重要问题。当前,3D模型的对称检测工作主要集中在外蕴对称检测,