多子空间注意力神经机器翻译

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:galagala
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机的广泛使用,机器翻译已经从自然语言处理领域逐步应用于多个领域,例如工业领域,教育领域等。由于人们对多语言之间翻译的需求日益增加,因此有效的提高文本的翻译质量是一个亟需解决的问题。在人工智能热潮的推动下,神经网络技术日益融合进机器翻译领域,使得传统的机器翻译方法逐步扩展为神经机器翻译方法。虽然现有神经机器翻译模型大部分是和注意力机制结合使用,但是目前的注意力机制都是仅仅使用一个注意力计算函数。单一的注意力计算函数会使模型始终会忽略一些重要信息。因此,本文首先提出了一种新的多注意力机制,研究的重点是如何结合多个注意力计算函数,并将每个注意力计算函数的优点得到最大的发挥,从而提出了具有多个注意力计算函数的神经机器翻译模型。双向长短期记忆网络是广泛使用于自然语言处理领域中的一种循环神经网络。本文提出了一种双曲正切长短期记忆网络,证明了将未来信息和历史信息融合可以提取更加充分的上下文语义信息。基于此理念,本文提出了一种多子空间注意力机制,并将之前提出的多注意力机制引入到多子空间注意力机制中,在多子空间注意力机制中融合了多个注意力计算函数。多子空间注意力机制首先将双曲正切长短期记忆网络的隐藏层状态映射到多个子空间,然后在计算注意力分数时使用多注意力机制中的多个注意力计算函数,通过在不同的子空间中应用不同的注意力计算函数来提取全方位的上下文信息特征,从而获得准确的注意力计算结果,最终将其应用于神经机器翻译模型。本文将提出的多子空间注意力神经机器翻译模型与若干神经机器翻译模型在WMT14翻译任务上进行了对比实验。实验结果证明本文所提出的多子空间注意力神经机器翻译模型有效地提升了文本的翻译质量。
其他文献
气溶胶-辐射相互作用一直是当今大气环境、气候变化研究的热点,气溶胶通过吸收和散射太阳辐射影响地-气系统辐射收支平衡。虽然气溶胶总体对全球气候呈现负的辐射强迫,但吸收性气溶胶中黑碳气溶胶却呈现明显的正辐射强迫,其产生的气候效应与温室气体类似,因此,吸收性气溶胶成为准确评估、预测全球气候变化的主要不确定因素之一。虽然紫外辐射仅占太阳辐射的7%,但是对人类健康和生态环境的影响巨大,过量的紫外照射会增加皮
移动通信技术的迅猛发展和移动智能设备的广泛普及,催生出了一些时延敏感且计算密集的新兴应用,如增强现实、人脸识别、互动游戏等。面对这些应用,计算能力和续航能力有限的
不同阻尼比下的位移谱衰减关系在确定设计位移谱和概率地震危险性分析中具有十分重要的作用。已有的位移谱衰减关系或规范设计反应谱一般都基于5%的阻尼比,然而绝大多数结构在较大地震荷载作用下因非线性变形而具有较高的阻尼比,除此之外,其它结构,例如斜拉桥的拉索的阻尼比大大小于5%。在这些结构的设计中,一般采用简单的阻尼比修正系数去乘5%阻尼比的设计谱以获得某阻尼比下的设计谱,但这些阻尼比修正系数增加了更大的
垃圾渗滤液是污水处理行业常见的高浓度有机废水,必须经过处理降低渗滤液中的有害物质,达到排放标准才能排放。当采用上流式厌氧污泥床反应器(UASB)处理渗滤液时,发现在厌氧处理构筑物及其附件内会产生大量的结垢物,经过检测与分析这些结垢物的主要成分为碳酸钙。结垢物的生长速度较快,需要及时清理。目前常用的除垢方法是物理清除法,但这种方法不仅需要反复定期清理,还需要大量的人力和物力,操作过程需要消耗一定的时
目的脑出血是致残率、致死率最高的一类卒中亚型,卒中相关肺炎是脑出血后常见并发症之一。大量研究证据显示,卒中相关肺炎的发生不仅增加了患者住院时间和医疗费用,而且大大
会议
水垢沉积一直是困扰锅炉、冷却塔等热交换设备的主要问题。水垢的大量存在,不仅会加速管路内壁的腐蚀、降低热交换率、严重时会导致管内压增高甚至引发爆炸等一系列安全事故。电场阻垢法是一种有效的基于物理场的阻垢方法,具有高效、环保、成本低等优点,目前该技术已经得到了广泛应用,其机理主要为电场影响了碳酸钙的成核及结晶过程,并最终抑制水垢的沉积。但是,在实际的应用工况下,水中往往含有大量的杂质镁离子,而镁离子的
文章主要讨论了可积晶格方程的Hamilton结构的建立、无穷守恒律的获得、可积晶格方程族的可积耦合系统、非等谱形式以及Darboux变换的构造和应用.第一章,概述了孤立子理论的
经典的土压力理论,因其力学概念明确、计算过程简单,在工程实际中得到了广泛的应用。然而在工程实际中,土体往往达不到极限状态,经典的朗肯理论和库仑理论已不能满足实际工程的需要,因此研究非极限状态下的土压力具有重要意义。首先,利用有限元软件ABAQUS模拟了基坑开挖过程,得到了不同工况下支护结构上的位移变化规律和土压力变化规律,证实了在静止状态与主动状态之间确实存在着非极限状态,且非极限状态随着位移的变
随着传感器技术、通信技术、计算机技术等的蓬勃发展,人们每时每刻都能获得海量数据。然而,由于这些数据往往是大规模、高维且含有噪声,甚至是有缺失的,因而产生了诸如数据存
离子液体克服了很多传统有机溶剂的缺点,作为一种“可设计性”溶剂,具有很多优点,发展潜力极大。其中,结合了离子液体“可设计性”和表面活性剂双亲结构的两亲型离子液体,是一种新兴的,符合“绿色化学”理念的物质。本文选用具有表面活性剂和离子液体特性的新型离子液体—两亲型离子液体四丁基膦氯合氯化铁盐和十四烷基三丁基膦氯合氯化铁盐([P4444]FeCl_4和[P44414]FeCl_4)。[P4444]Fe