神经机器翻译中循环注意力机制的改进研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:wfzhousd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习及机器翻译领域研究的深入,基于注意力(Attention)机制的神经机器翻译(NMT)逐渐替代了统计机器翻译(SMT)。注意力机制的改进工作成为机器翻译的一个研究热点,近年来在这些神经机器翻译的注意力机制改进工作中,每个时间步的注意力信息依旧相互独立;而在2017年EACL中的Yang等人提出了一种循环注意力的模型,利用每个时间步中的注意力信息,将它们通过循环网络结构产生动态记忆信息,从而提升翻译性能;本课题基于Yang等人论文存在的问题提出了两个方面的改进研究:1、提出了引入自动边界的循环注意力机制。由于Yang等人提出的模型是通过一个超参值来经验性地设计历史注意力的窗口大小,这并不符合上下文信息具有语意边界的直观感受。因此,本文设计的模型结构可以改进历史注意力信息结合的窗口固定问题,并且提出了对称边界和非对称边界两种设计来实现边界的自动调控方式。2、提出了引入权重控制的循环注意力机制。Yang等人提出的模型在传输上下文历史信息的过程中没有区别对待不同时刻的历史信息,而我们清楚地知道,不同的上下文信息对翻译具有不同的影响程度。因此,我们通过历史注意力调控模型来实现历史注意力信息的权重控制,进而实现不同上下文信息对翻译具有不同程度的影响,此外我们还融合了非对称边界提出了非对称边界-历史注意力调控模型。我们通过两种改进方法构建了四个神经机器翻译模型,相比于Yang等人的研究,我们的模型在Bleu值上均取得了较好的表现能力,同时在测试结果上也表现出了更优的翻译性能。
其他文献
本文介绍了发生在周口市梨栽培区常见的3种害虫的形态特征、危害症状、发生规律及防治技术要点,以供种植者防治参考。
中医诊断是我国医学的瑰宝,中医脉诊经验积累了数千年之久,为民族繁衍发展起到了重要作用。脉诊更是重要的中医看病手段,脉诊感知的脉搏信号反映着人体生理病理方面的重要信息。传统的中医诊断方法存在着较大程度的主观经验性和模糊性,在科技发展的如今需要现代测试仪器令脉诊在定性和定量方面更加客观化、精确化。在设计方面,了解脉搏波的产生原理与波形特点,结合中医诊断标准让仪器采集的数据化的脉搏信号可以得出中医诊断下
改革开放40年以来,我国的工业装配自动化不断发展,用人成本的不断上升,这增加了企业的运营成本。采用生产效率高、成本低的自动化装配设备,是企业发展的必然选择。螺丝锁付是装配的关键工艺之一,目前大部分企业,都是采用手动或半自动的方式实现螺丝锁付的,这种锁付方式严重制约了产品的生产效率,也影响了产品的质量。为了提高生产效率和产品质量,不少企业开始采用全自动锁螺丝机。但是,市场上大多数全自动锁螺丝机只能锁
对苏铁(Cycas revoluta)的化学成分进行研究,采用多种色谱技术(硅胶、氧化铝和Sephadex LH-20等)从苏铁茎的乙酸乙酯部位分离得到16个化合物,其结构由HR-ESI-MS、1H和13CNMR
<正>司法公信力是社会公众对司法权运行过程和结果的认同、信任和尊重。但司法权的公正运行和裁判结果的公正与公众的认同、信任和尊重并不存在必然的正比关系,特别是当前表
石版印刷,其英文是"lithography",这个词基本是古希腊文的直译,这种技术是德国人阿罗斯&#183;森尼非德于1976年在德国的巴伐利亚省首先发明的。该技术被应用于印刷工业,使印刷
目的探讨全面护理模式对预防术后压疮的临床效果。方法选取2015年1月—2016年8月我院收治的32例手术患者作为研究对象,按照随机分配的原则将患者分为对照组和观察组各16例。
[目的] 探讨抑癌基因PTEN蛋白在人乳腺癌中的表达定位、表达水平,与临床病理指标的关系及其预后意义,及其分别与可能的下游基因:抑癌基因p27kipl、癌基因cyclin D1的蛋白表达的
现阶段,太阳能电池板成本不断降低,国家大力推广光伏发电,应用于普通家庭的光伏并网微逆变器已经成为研究的热点,其需求量也不断上升。如何优化电路拓扑、提高微逆变器的效率
修订后的保险法进一步加强了对投保人和被保险人权益的保护,规范了保险业的发展,解决了许多悬而不决的法律难题。但保险审判实践中原来面临的诸多问题中仍然有相当一部分依旧