基于语义对齐的文本蕴含识别研究

来源 :南昌大学 | 被引量 : 0次 | 上传用户:yqligjs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言处理是人工智能领域内的一个重要的研究方向,其中一个关键的任务是文本蕴含。文本蕴含任务是判别给定的假设句是否可以从前提句中推理出来,帮助计算机解读句、词之间的深层的语义信息,识别文本之间语义的逻辑推理关系,从而理解自然语言。本论文的主要工作是借助对齐的方来提升基于深度学习模型对文本蕴含识别任务的推理能力。具体工作内容如下:1)为了解决传统孪生网络蕴含识别模型中,循环神经网络编码器存在的梯度消失、长距离依赖、运算效率低下等问题。本文以Transformer Encoder为基础,设计了一个新颖的模型结构,创新性地提出了预测推理贡献度机制,采用注意力的对齐方式,使得模型在推理句对语义关系时,更关注对推理贡献高的部分。同时,为了获得更深层次的语义信息,提出一个信息交互机制,两个句子都能获取彼此对齐的语义信息,最后将交互后的词向量输入到下一层,得到更深层次的推理预测。以ESIM(Enhanced Sequential Inference Model)为基线模型,本文所提出的方法在SNLI,Multi NLI,Sci Tail数据集上的实验效果均超过基线模型,并且模型推理运算速度更快。2)为了增强句子的语义信息,提升蕴含识别的性能,在模型中加入外部语义角色标注知识是一种常见的方法。但对同一文本进行语义角色标注解析可能会得到多个不同的谓词结构句,因此难以在模型中同时融入多个语义角色标注。为了解决该问题,本文提出了一种借助多头注意力的对齐机制和不同谓词结构句融合的方法。通过注意力机制对BERT输出的谓词向量进行相似度计算,对齐前提句和假设句中相似性高的谓词结构句,然后再使用Transformer Encoder作为编码融合器,将相似性高的谓词结构句分配到不同注意力头中,从多个不同子空间获取不同的语义信息。实验表明,该方法能提升文本蕴含推理的性能。
其他文献
辽河油田储气库建在砂岩油藏,由于高压天然气的强注和强采的原因,储气库将面临气井出砂的风险,导致套管损坏、砂埋气层、气蚀管线和设备等生产事故的发生。辽河油田前期针对此类气井的出砂机理和防砂技术未曾开展系统化研究。因此,急需开展高压气井防砂技术研究。辽河油田前期并没有日注采量达到几十万方的气井,而储气库建设是实现辽河油田长远发展目标“建设双千油田”的重要工程。本文通过对辽河油田双6储气库地质情况、出砂
学位
班主任是教师群体的重要组成部分,承担着一个班级方方面面的事务,在政策层面也被给予了较多的关注。关于班主任的工作定位,尽管有相关文件可以做参考和标杆,但在实际的执行中,班主任的角色已然发生了很大的变化,有与时俱进的合理角色定位,也不乏角色范围不明带来的角色偏差与错位,需经过科学分析后加以厘清,清除班主任专业发展中因角色定位不当造成的外在障碍,激发班主任内在活力与工作内驱力。本研究运用教育叙事研究的方
学位
长期以来,教师反馈在高中英语写作教学过程中是一种不可或缺的手段。国内外也有不少学者针对写作教师反馈做出了大量研究,但对于高中学段英语写作教师反馈方式的国内研究相对甚少。为深化高中英语写作教学研究,探索出适合高中英语教师对高中学生写作反馈的具体方式与策略,本调查研究项目主要针对高中英语教师写作反馈的以下几个问题展开:1)高中英语教师在日常教学过程中的对学生写作反馈现状如何?2)学生对当前高中英语写作
学位
新冠肺炎疫情催生的“隔离经济”下,社交电商取得了爆发式增长。社交电商利用人与人之间形成的复杂关系网络传播商品信息,把用户引流到社交电商平台。社交电商中用户关系的远近影响着消费者对商品信息的信任程度以及消费者的转发、购买行为。因此,研究社交电商中关系强度对信息传播与购买行为影响具有理论意义和现实价值。本文基于社交电商环境,分析了商品信息传播过程中的主要特点,提取出影响用户分享、购买行为的个人内在因素
学位
随着市场经济在高等教育领域的逐步扩散,高校办学规模不断扩大,国际间教育交流日趋频繁,高等教育进入普及化阶段。适龄学生接受高等教育的途径日益增多,民办高校间的竞争愈演愈烈。优化创新招生策略,吸引优质生源报考,已经成为各民办高校招生工作中尤为重要的一环。本文结合作者在高校的工作实践,以河南A民办高校为研究对象,基于营销学理论体系架构,对该校的招生策略进行系统地分析和深入地探讨。首先,阐述了论文研究的背
学位
劳动是创造物质财富和精神财富的过程,是人类特有的基本社会实践活动。新中国成立以来,党和政府对教育与生产劳动相结合极为重视。1958年,中共中央、国务院颁布《关于教育工作指示》开始首次将生产劳动列为正式课程。1978年,邓小平在全国教育工作会议上提出,要更好地贯彻教育与生产劳动相结合的方针,使高校劳动教育得到恢复发展。党的十八大以来,习近平总书记在全国教育大会上提出要培育德智体美劳全面发展的社会主义
学位
阅读作为重要的语言输入途径,是语言学习者获取信息,掌握语言应用技能的基础,也是形成批判性思维、培养英语学科核心素养的重要一环。《新课标》(2017年版)指出,教师应该研究如何在教学中将语言知识转化为学生的语言运用能力,帮助学生正确理解和表达意义、意图、情感和态度,努力实践指向学科核心素养发展的英语学习活动观,实施深度教学,落实培养学生英语学科核心素养的目标。然而目前仍存在教师注重语言知识传授,忽略
学位
阅读是英语教学中的重要环节,对于中小学生来说,阅读不仅培养语言能力,也能促进其身心发展。《义务教育英语课程标准》(2011)版和《中国中小学生英语分级阅读实验稿》都要求在义务教育阶段英语课外阅读量需达到15万词以上,这表明英语阅读教育非常重要。学生应该在老师的指导下补充各种题材的读物以适合不同年龄阶段认知发展的需求,逐步掌握各种阅读策略,养成良好的阅读习惯。在传统教学中学生阅读内容较单一,学生阅读
学位
当前,互联网已经与人们的生活密不可分,各类网络应用层出不穷,给人们的生活带来了极大的便利。与此同时,网络攻击事件越发频繁,网络安全也逐渐受到重视。Webshell恶意脚本具有灵活多变、隐蔽性强等特点,因此,在网站后台中植入Webshell恶意脚本成为了攻击者最常用的手段之一。本文致力于解决Webshell检测模型在特征提取过程中未考虑Webshell文本数据语义信息导致特征挖掘不充分而影响分类效果
学位
人脸识别在生物特征质量评估领域虽然有很大的发展前景,但是仍然面临很多困难。在数据库中引入高质量的样本可以提高人脸识别系统的准确性,而低质量的样本则会产生相反的效果。样本的质量也可能与更主观的因素有关,如不同的个体主观上去判断样本质量或许也不相同。目前的有常用的两种人脸图像质量评价方法,其中包括全参考人脸图像质量评价方法和无参考人脸图像质量评价方法。本文就无参考人脸质量评价方法和面部情感识别进行了研
学位