基于语义表示优化的神经机器翻译技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:pzbisyt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译作为自然语言处理领域的重要任务,旨在借助计算机程序将文本从一种自然语言翻译成另一种自然语言。随着近年来深度学习技术的突破,神经机器翻译(Neural Machine Translation)被越来越多研究者所关注,成为机器翻译领域的主流方法。现阶段的神经机器翻译技术采用基于表示学习的方式将输入文本经过模型编码成低维空间中的向量表示,这种向量表示通常融合了源端语言句子和目标端语言翻译片段的上下文语义信息。而机器翻译模型获得的候选句子的分布是由生成的一系列富含语义的向量表示归一化而成,这也意味着词的语义向量表示的优劣直接决定着翻译质量。因此,本文专注于优化翻译模型的语义向量表示,分别进行以下三个方面的研究:(1)提出一种新的基于对比学习的神经机器翻译方法,该方法旨在让相同词的上下文语义表示更接近,不同词的上下文语义表示更疏远。针对样本选择的复杂性,应用多种采样策略,并设置词级别的位置信息存储。同时提出了能够刻画语义表示多样性的指标及建立了语义表示多样性和翻译性能之间的相关性模型,并以此相关性模型来指导对比学习方法的训练过程,从而获得优化的语义向量表示。(2)定义关于合成数据控制回译模型性能的两个关键的因素,分别是合成双语数据的质量及其来源的重要性权重。针对两个因素互斥的特性,提出了基于回译模型的启发式合成数据优化生成方法。相比传统生成方法,该启发式生成方法可以平衡两个因素以获得更优质的合成数据,并在回译模型的正向编码端获得更优质的语义向量表示,从而进一步提高翻译模型的性能。(3)提出一种新的基于检索增强的神经机器翻译方法,该方法使用单语语料来代替双语平行语料进行检索增强相关工作。针对双语平行语料规模有限且获取困难的问题,采用根据单语数据生成的合成语料构建翻译记忆库来存储优化后的语义向量表示,其中利用本文提出的gamma评分解码方法来进行合成单语数据的生成。实验证明,该基于单语检索增强的方法可以获得不亚于基于双语检索增强方法的性能。
其他文献
随着互联网的普及以及智能设备的迅速发展,虚拟个人助手(Virtual Personal Assistant,VPA),也称软服务机器人,逐渐进入人们的生活的方方面面,提供便利。同时,会话推荐系统,也即基于对话的服务推荐系统,以VPA作为载体,也逐渐成为研究热点。会话推荐系统以其可及时获得用户反馈的特点,能够更加精准的命中用户的需求。同时也带来以下几个挑战:如何捕捉用户偏好并对其建模?面对海量服务如
学位
伴随着智慧教育产业的不断发展,师生对于作文自动评分(AES)的需求不断涌现。一套完整的作文评分系统需要实现从文字识别到文本评分的全流程,但现有研究成果忽略了识别和评分之间的关联性,也忽略了书写质量等视觉特征对于作文评分的影响,在这其中也隐含了如何将多模态特征进行融合建模的科学问题。另一方面,现有的研究多是针对扫描的高质量图像,一套可用的评分系统还需要解决自然拍摄场景下含噪图像的文本识别问题。因此,
学位
报纸
随着服务业的高速发展,大量的服务涌入互联网,人们逐渐步入了服务互联网时代。在服务互联网中,万物都可以被服务化,也推动了物联网以及云计算等领域的发展。这些研究领域的发展对服务系统的设计与建模提出了新的要求,如使用微服务架构作为系统的实现架构、在系统设计时要考虑到资源位置的约束以及服务价值质量的约束等等。与此同时,随着用户需求的不断变化,服务系统的设计也需要不断进行演化。所以如何更好的设计与构建满足用
学位
随着人口红利的退去和社会老龄化会加剧,雇佣人力的成本越来越高,以及疫情影响带来的减少接触的必要,从需求和行业竞争的角度来看,传统便利店都需要转型。因此无人零售的正有着良好的发展前景,国内外的多家研究机构和公司正在研究无人商店的落地以及其涉及的前沿技术。现有的无人商店的主要实现是利用RFID标签技术,需要设置专门的结账台,用户手动把商品在结账区域识别RFID标签,对于用户来说这样的购物体验不够流畅,
学位
基于数据孤岛问题以及对隐私安全的保护,联邦学习近来成为传统机器学习方法的一种替代方法。现今很多深度学习系统与平台也将联邦学习作为保护用户隐私安全的重要手段。然而联邦学习的训练方式也在某种程度上泄露了用户的隐私,如每次联邦学习期间的参数交换模型构建过程几乎透明,使得模型易受到成员推理,模型窃取等攻击。目前对联邦学习上成员推理的研究多集中在重构攻击以及属性推断攻击,而对目标样本针对查询数据集的隶属性推
学位
报纸
学位
机器学习模型效果受到训练数据质量的显著影响,不同企业或部门之间往往会通过数据直接共享的方式提升模型性能。然而伴随着国家和公众对于数据隐私问题的关注,亟需在保护隐私安全的前提下,完成数据的共享和应用。面对这种数据困境,联邦学习技术给出了解决之道,该技术通过加密机制进行参数计算和交换,可以在数据不离开本地的情况下实现多个数据源的安全联合建模。本文旨在实现去协调方的纵向联邦学习系统,包括数据对齐和纵向联
学位
与利用云端计算的解决方案相比,在物联网(Io T)边缘设备上执行深度神经网络(DNN)推理可确保输入数据的隐私性,同时可能降低运行时间。由于大多数边缘设备内存和计算资源有限,它们无法存储和执行复杂的DNN。可以通过跨多个边缘设备分区和分布各个层的信息的方法,以减少每个设备上的计算量和数据量。在本文中,我们为该问题提供了解决方案,这是一种通过全连接层分区,以及特征和权重密集的卷积层分区,来支持DNN
学位