基于注意力机制的中文文本蕴含识别方法研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:jyzhenghb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本蕴含识别(Recognizing Textual Entailment,RTE)又称自然语言推理,是自然语言处理领域的一项基础任务,其目标是判断两个句子之间的语义推理关系,在机器翻译、问答系统等任务中都有着重要的应用价值。在研究分析深度学习RTE方法的基础上,本文提出结合互注意力机制和聚合机制的文本蕴含模型(Co-Attention and Aggregation Model,Co AM)。该模型在CCL2018数据集上超过基线模型。本文对该模型进行编码层优化和特征融合实验,并分别应用到问答任务和句子匹配任务上。具体研究内容如下:(1)提出基于互注意力和聚合机制的文本蕴含模型。目前深度学习蕴含识别方法主要由编码、信息交互、聚合分类三部分组成,本文在该架构的基础上提出结合互注意力和聚合机制的文本蕴含模型Co AM。该模型使用互注意力进行句子间语义推理关系的识别,使用改进的聚合机制保留更多编码特征、降低噪音,同时使用池化做进一步聚合。Co AM在CCL2018中文文本蕴含语料上达到93.5%的准确率,超过评测第一名,并优于常用的基准模型如长短时记忆神经网络、增强注意力模型、可分解注意力模型等。(2)基于编码层优化的文本蕴含识别模型。为探究编码部分对模型的影响,文本在Co AM的基础上进行编码层优化实验。使用多层感知器、卷积神经网络、长短时记忆神经网络、自注意力等结构作为模型编码层进行对比实验,实验结果表明使用自注意力机制编码时模型的性能提升较高,迭代速度较快。编码优化模型在NLPCC2016问答数据集上准确率达到81.31%,说明该模型在问答任务上具有一定应用价值。(3)基于融合特征的文本蕴含识别模型。考虑到字是中文最小语义单位的特殊性,以及词语的基本属性词性,本文在包括Co AM的多个RTE模型上进行融合字特征和词性特征的实验。实验结果表明字特征融合在各模型上均有增强效果,而词性特征在部分模型上有幅度较小的提升。融合特征模型在CHIP2018句子匹配数据集上达到79.63%的准确率,表明特征融合对句子匹配任务有一定的提升作用。
其他文献
中国具有悠久的农耕文化,是一个传统的农业大国,从事农业生产和农民占全国人口 70%左右,农业农村农民(简称三农)始终是党和国家关注的重中之重。解决好三农问题就能最大程度
语文课外阅读作为课内学习的有益补充和完善,一方面有利于实现高中生语文核心素养的提升,另一方面通过完善语文课外阅读这种形式能有效使国家通用语在云南边疆地区进行普及推广,培养高中民族学生的民族文化认同感,铸牢中华民族共同体意识进而实现各民族的团结发展。对云南边疆高中语文课外阅读情况进行调查,可以促使对当地的学生对课外阅读更加重视,可以丰富学生的阅读理论,还可以为促进课外阅读更好地发展提供理论参考,故而
学位
坚持性是个体自我控制能力的重要组成部分之一,是个体在遇到能力范围之外的困难时,能够不放弃,多次尝试,试图排除干扰取得成功的过程。幼儿天性喜欢模仿,常常将身边的老师、父母、小朋友作为自己模仿学习的对象。因此,本文通过实验法和行动研究法来探讨不同维度的榜样示范对幼儿面对困难时坚持时长的影响,并统计分析出对幼儿影响最为显著的榜样示范;然后,以实验研究的结果为重要基础,以榜样示范教育为主要途径与幼儿园一日
学位
戏剧教育是拓宽学习领域、完善课程体系的一个重要手段,它可以为幼儿创造学习空间、提供参与戏剧活动的机会。当前戏剧教育活动内容存在匮乏问题,为解决该问题,深入挖掘传统文化中的教育资源具有现实的意义。在我国文化中,民间故事是一个重要构成,民间故事情节曲折、题材广泛,故事塑造了许多性格鲜明的人物,利用民间故事开展戏剧教育活动,可以使幼儿获得良好的情感体验。将一些民间故事应用到幼儿戏剧教育中,既可以使传统文
学位
学前儿童的环境态度是指学前儿童对环境友好或破坏行为所持有的一种积极或消极的价值判断和倾向,从小培养儿童对于环境问题的积极看法和态度不仅是促进环境可持续发展的必然趋势,也是幼儿全面发展的重要保障。自然共情包含自然共情能力和自然诱导共情两个层面,自然共情能力是指学前儿童能够感知和理解自然要素或整体情绪情感的一种稳定的心理倾向,自然诱导共情是指引导学前儿童对处于困境中的小动物进行换位思考,从而通过操纵观
学位
颜色是人们购买纺织品时要考虑的一个重要因素,如何完美的达到预期的染色效果,就需要对染色过程中染料的浓度进行精确控制。现如今印染企业中染色的自动化设备发展十分迅速,
裁片是汽车座椅成品加工的重要中间件,其质量的好坏直接关系到座椅的最终品质。其中,裁片眼刀特征是衡量裁片是否合格的重要指标,眼刀的类别判定与尺寸测量是裁片拼接之前需
口蹄疫已经严重危害到我国养猪业的健康和可持续发展,目前尚无特效药治疗或预防此病,因此研制开发出一种安全、高效以及抗病毒的生物学制剂显得十分重要。有研究结果显示,猪α6干扰素(Porcine interferon alpha6,PoINF-α6)和猪β干扰素(Porcine interferon beta,PoINF-β)均具有较好抗病毒活性。本研究采用分子克隆和基因工程等分子生物技术学体外制备2个
学位
遥感图像配准技术因其实用性强、应用范围广等特点已经成为目前的研究热门。遥感图像配准技术的发展在灾害勘测方面有着广泛应用。为了获取更有效、更全面的灾后遥感信息,在
为提高化学打顶剂应用效果,筛选棉花打顶剂在阿拉尔垦区的最佳喷施时间,2019年选用新陆中37号与新陆中70号两个南疆主推棉花品种,设置不打顶(T0)、7月1日人工打顶(T1,CK)、7月1日开始喷施(T2),7月6日开始喷施(T3)、7月11日开始喷施(T4)及7月16日开始喷施(T5)6个处理,喷施打顶剂前于6月18日、28日、7月8日分三次喷施塑型剂。每次施药前一天测定并比较株型、产量及棉纤维
学位