面向神经机器翻译的词义表示模型的研究和实现

来源 :厦门大学 | 被引量 : 0次 | 上传用户:juejue_wang11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机文本处理的快速发展,词义表示也成为研究热点之一。不少研究工作已经证明词义表示可以提升许多自然语言处理任务的性能,例如神经机器翻译。作为许多任务的基础,词义表示正在受到越来越多的关注。为此,本文探索了两种方法来增强词义表示,并用于改善神经机器翻译。第一种是引入了词语内部结构的词义表示。传统的方法多以词或者字符为基本的语义单元,为结合二者的优点,一些研究者提出了字符和词的混合表示方法。但是这些方法忽视了中文词语的内部层次结构。本文区别于前人的工作探究更加合理的词语语义单元,提出了一种新的标准定义了中文词语的内部层次结构以及以此为基础的标注规范,并人工标注了一份中文词语语料库,用于改进神经机器翻译模型。第二种是引入BERT预训练的词义表示。近来,预训练方法在许多自然语言任务中有着优秀的表现,为增强词的语义表示,本文利用预训练模型来学习词的语义表示,然后将预训练模型的信息融入神经机器翻译中。本文在机器翻译的实验上初步验证了所提出的方法的有效性,本文的工作为词义表示的研究提供了新思路,对进一步探索自然语言处理的研究工作具有重要的科学意义和实用价值。
其他文献
一阶时滞系统因其在过程控制中的重要作用而受到控制理论研究的持续关注,其研究主要包括闭环系统稳定性分析和控制器设计方法两个方面。本文主要从频域角度来研究一阶时滞系统的线性自抗扰控制,通过使用Nyquist图、Bode图等工具分析系统的稳定性。完成了以下工作:第一,分析了一阶时滞系统在一阶线性自抗扰控制下的稳定性。对于稳定的时滞系统,采用忽视时滞法设计自抗扰控制器,然后利用Nyquist图分析闭环稳定
超连续谱(Supercontinuum,SC)是一种宽带光源,当高功率激光在光纤中传播时,在光纤中的多种非线性效应的共同作用下,入射激光的光谱在传播过程中得到极大的展宽,最终获得SC输出。SC光源同时拥有非常宽的光谱覆盖范围以及优异的激光特性,因此在医疗、军事、通信、测量等领域具有广阔的应用前景。结构紧凑、集成化的高性能SC光源必将进一步推动SC在各领域的应用。本文采用了被动调Q微片激光器泵浦石英
目的运用二维斑点追踪显像技术(2D-STI)测量房颤患者左房应变(LAS)及二尖瓣环位移(MAD),评价房颤患者左心功能。同时追踪两者在导管消融后的变化,评价导管消融术对房颤患者左心功能的影响。方法研究对象均行心脏超声,测量心尖四腔心率(AP4-HR)、左房储器期应变(LASr)、左房管道期应变(LAScd)、左房泵时期应变(LASct)、二尖瓣室间隔处瓣环插入点最大位移(MAD1)、侧壁处瓣环插
磁共振成像(magnetic resonance imaging,MRI)是一种具有高空间分辨率和无创伤性的医学成像技术,在临床上应用广泛。化学交换饱和转移(chemical exchange saturation transfer,CEST)为MRI提供了新的对比度机制,能够有效检测低浓度的可交换质子,对多种疾病的检测有着重要意义。然而,CESTMRI需要较长的数据采集和图像重建时间,这限制了其
我们把某个坐标系下包含大量点的数据集称为点云。点云包含了丰富的信息,一般来说,包括三维坐标值,颜色,法向等数据。随着3D扫描技术的进步,我们已经可以通过3D扫描仪获取点云数据,从而实现将现实世界点云化的目标。与此同时,高质量的点云也是许多研究与应用的重要输入,如三维物体重建,基于点的渲染与有限元分析等。然而,目前通过3D扫描仪获取的点云仍旧存在一些缺陷:点云含有噪声,物体表面的光学性质与传感器性能
背景:噪声性听力损伤是一种常见的听力损伤形式,严重影响患者的生活质量。虽然转录失调和氧化损伤等许多分子机制在噪声性听力损失的发病机制中发挥重要作用,但表观遗传调控在噪音性听力损失中扮演的角色仍不清楚。在本研究中,我们研究了 DNA甲基化对成年C57BL/6J小鼠噪声性听力损失的影响。DNA甲基化是一种关键的表观遗传机制,常常对细胞内外环境做出反应,并在调节基因表达方面发挥关键作用。结果:在噪声损伤
葡萄糖是自然界中分布最广泛的单糖,人体内葡萄糖浓度异常常会诱发糖尿病、肿瘤或囊肿性纤维化等疾病。开发不依赖于酶、具有高稳定性及高灵敏度的葡萄糖传感分子是一项重大的医学课题。氧化型辅酶I(NAD+)和还原型辅酶I(NADH)是人体700余种氧化还原反应的辅酶对,广泛参与着能量代谢、Ca2+稳态、细胞的衰老和死亡等过程,然而,复杂的分子结构和相同的共价识别位点为这对辅酶的定量和区分增添了难度。基于硼酸
近年来,关于磁性纳米组装体的研究一直备受关注。以磁性纳米颗粒为结构单元,将其组装成具有特定形状和结构的三维组装体,不仅可以保留单个纳米颗粒的磁学特性,同时还可能得到单个纳米颗粒所不具备的集体效应,从而可以拓宽磁性纳米材料的应用范围。虽然目前已有很多关于Mn3O4纳米颗粒的磁学性质的研究,但对于其组装体的磁学性质的研究仍然较少,组装过程对于磁学性质的影响仍然不太明确。因此,本文对Mn3O4纳米颗粒组
氧化锌(ZnO)是具有代表性的第三代半导体材料,具备激子束缚能高、带隙宽、单晶的生长技术成熟、抗辐射性能强、制备技术路线灵活并且绿色无污染等优点。氧锌镁(MgZnO)可以增宽氧化锌的带隙以拓展其工作波段,但高镁含量相分离和P型掺杂困难仍然制约其走向产业化。我们通过第一性原理计算研究了 MgZnO体系和Fe掺杂MgZnO两个体系。它们都是ZnO基半导体材料的性能和应用前沿研究。对于MgZnO体系,我
超级电容器作为一种新型储能器件,由于功率密度高,循环寿命长,充电时间短等优点而成为了研究的热点。同时,随着可穿戴和便携式电子设备的快速发展,柔性超级电容器已经引起了人们广泛的关注。而柔性超级电容器的性能主要取决于电极材料,因此,制备出具有优异的电化学性能与柔韧性的超级电容器电极材料十分有意义。本论文的主要研究内容包括:(1)首先,将氧化石墨烯溶液,碳纳米管与尿素三种原料注入到玻璃毛细管中,通过简单