基于词格的神经网络句子表示学习研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:zzdlily_8000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
循环神经网络因其优秀的序列建模能力,广泛被应用于自然语言处理领域的各项任务。其中,在对句子嵌入表示进行学习时,循环神经网络通常以句子的词序列信息为输入。但对于中文等没有天然词语分隔符的语言,在句子的分词预处理过程中,非最优的分词粒度和分词错误会破坏句子的语义和结构,影响循环神经网络模型对于句子语义信息的建模。为解决上述问题,本文提出了基于词格的神经网络句子表示学习模型。词格作为一种图结构表示形式,能够包含指数级别的分词结果,容纳不同候选分词和切分粒度,具有比单一分词结果更加丰富的表达能力,可以有效减轻分词过程带来的错误信息对后续句子语义建模的影响。鉴于循环神经网络模型无法建模图结构输入,本文首先提出了基于带权词格的循环神经网络模型,通过将循环神经网络泛化到有向无环图的结构上以建模词格信息,并利用词格中边的权重信息作为监督信息指导模型建模;同时,本文还提出了应用于神经网络机器翻译的基于图神经网络的词格编码器,以期利用图神经网络建模词格信息,并且,通过基于时间的注意机制和全局状态的引入,本文模型得以自适应地组合不同的上下文窗口中的局部信息及捕捉词格节点间的长期依赖关系。情感分类和问句分类任务上的实验与详实分析,验证了本文提出的基于带权词格的循环神经网络模型的有效性。同时,NIST中文-英文和ASPEC日文-英文翻译任务上的实验结果,展现了将基于图神经网络的词格编码器引入到神经机器翻译中的优越性能。
其他文献
随着全球化的进一步深入,以及“一带一路”倡议地推进,中国与非洲国家在经济、政治、文化等领域地交流愈加频繁。然而,由于语言、政治、文化、宗教等方面的差异,双方在沟通方面尚存在障碍,因此,口译在交流及沟通上的重要性愈发凸显。本篇论文作为一篇口译实践报告,基于笔者为亚吉铁路项目EDR学员提供铁路技术培训的口译服务。此次口译实践涉及铁路施工、铁路信号、电务技术等内容。为此,译者做了充分的译前准备,包括收集
目的:通过测定SULF1在HCC组织中及癌旁组织中的转录水平并进行对比,探讨SULF1的转录水平与HCC切除术后3年生存率的关系,并结合患者相关临床指标和病理因素探讨影响HCC术后3年生存率的临床和病理因素。方法:收集2015年1月至2017年1月吉林大学白求恩第一医院肝胆胰外科符合入组标准的108例患者的临床和病理资料,术后随访3年。通过实时荧光定量PCR(real-time quantitat
牛津大学在800多年的发展历程中培养了大量的杰出人才。然而牛津大学的发展史并非一帆风顺。从建校到16世纪末,冲突与合作始终贯穿于学者和市民两个群体中。这种关系不仅影响了两个群体的发展,同时也对英国社会产生了深刻的影响。本文共分为三章,各章节内容大致如下:第一章:主要阐述12世纪中叶至13世纪末,牛津大学和牛津城的关系。这一时期二者的关系表现为合作与零星冲突并存,并且以合作为主。通过分析这一时期牛津
机器阅读理解是自然语言处理领域重要的研究方向,根据提供的文本数量,可以分为单文本阅读理解模型和多本文阅读理解模型,鉴于后者具有更高的挑战性和实际应用价值,本文专注于多文本阅读理解模型在中文阅读理解数据集的研究,模型的架构包括段落选择器和文本阅读器。对于给定的问题、文档和参考答案,首先,通过段落选择器从文档中选出与参考答案相关性较高的段落,然后,文本阅读器在选择的段落上完成阅读工作,并预测出答案的范
随着人们对全球教育的重视和物质基础的提升,不同国家高校之间的访学交流变得越来越频繁。学术论坛的交替传译与会议口译类似。口译员是双方交流的桥梁,在进行口译活动前译员应做好充足的译前准备,通过不断的实践和练习,来提高口译质量。作者在2018年6月和2019年6月担任旧金山州立大学研学项目的交替传译员和陪同口译员。本篇口译实践报告的口译材料是基于在该项目期间,笔者为四次论坛所做的交替传译部分。笔者的口译
随着社会的发展,各类工程爆破作业大幅度增加,如果不能及时将天然地震波形和人工爆破波形区分开,会严重混淆地震目录,对地震学研究造成影响。地震波形属于非线性、非平稳信号
内蒙古成吉思汗陵是国家五A级的旅游景区,同时也是蒙古族文化最为集中和深厚的聚集地。每年都会有蒙古族典型的祭祀活动在成吉思汗陵举办,加之国内外蒙古族文化研究者的到访,使得成吉思汗陵在传播蒙古族文化方面成为必去景观。景区分新旧两大陵区,分别是参观区和祭祀区,整个成吉思汗陵再次呈现蒙元王朝雄伟气派,也向人们展示了蒙古族独特的游牧文明。翻译目的论解决了其他翻译理论未能解决的问题,摆脱了文本中心的翻译禁锢理
目的:本研究旨在分析原代乳腺癌上皮细胞和正常上皮细胞表面增强拉曼光谱的差异与联系,并且将随机森林应用于乳腺癌诊断模型构建。方法:采用机械-酶消化法获得同一患者乳腺癌组织及正常腺体组织的单细胞悬液,流式分选技术分选CD326+/CD45-原代乳腺癌上皮细胞和正常上皮细胞,检测并分析原代乳腺癌上皮细胞和正常上皮细胞表面增强拉曼光谱的差异与联系,采用机器学习构建乳腺癌的诊断模型。结果:对比原代乳腺癌上皮
发酵乳作为最受欢迎的乳制品,其感官品质一直都是产品的生命线。但是,目前发酵乳的感官品质控制仍依赖于传统的人工感官评定方法,在实施过程中存在诸多不便和困难,限制了发酵
近年来,中国的水污染问题日益严峻,污水处理行业受到空前关注。作为污水处理的关键,絮凝沉降法是国内外常用的提高水质处理效率的方法,线性超高分子量阳离子型聚丙烯酰胺絮凝