基于深度神经网络的文本蕴含识别及应用研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:gameboy13888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本蕴含识别作为自然语言处理中的一个重要基础任务,在问答系统、信息检索、信息抽取等很多任务中都有实际应用。传统的文本蕴含识别方法主要有基于人工特征的分类方法、基于词语相似度的方法以及基于符号逻辑推理的方法等。传统方法需要大量的人工抽取特征、构建规则,且需要词性标注、命名实体识别等自然语言处理预处理工具。深度神经网络可以避免传统机器学习方法中的人工抽取特征及NLP预处理工具导致的错误累计等问题,故而本文主要论述深度学习在文本蕴含识别的相关技术以及文本蕴含识别在阅读理解方面的应用。首先本文针对深度神经网络在文本蕴含中的应用进行研究,并尝试将注意力机制应用在卷积神经网络模型中,然后对目前在文本蕴含识别中的注意力机制方法与其他方法进行比较分析。同一文本在不同任务下,针对其关注的重点会有所不同。而对于文本蕴含识别任务,我们通常重点关注其中每个文本中的子事件是否匹配。具体地,如果能够将一句话分解为与其相关的子事件,并判断出假设文本中的子事件都包含在前提文本的子事件中,那么我们则可以判定两句话之间是蕴含关系。基于上述想法,本文提出了一种前注意机制记忆网络模型。通过将输入的两句话自动分解为其对应子事件的表示来推断两句话的文本蕴含关系。该模型可以提前将输入的文本信息进行汇集,相当于将原文本汇集成一个个子事件的表示。然后根据子事件的蕴含关系进一步判别两句话之间蕴含关系。自然语言的推断与理解一直是NLP的一大难题,随着深度学习方法在NLP领域取得了不错的效果,阅读理解任务的研究也逐渐增多。本文针对阅读理解任务的特点,将其转化为文本蕴含识别任务,并将本文提出的基于深度学习的文本蕴含识别方法应用在阅读理解任务中。本文的文本蕴含识别相关实验是在SNLI语料上进行的,其中前注意机制模型在SNLI中取得了86.5%的准确率,与目前已公布的最好结果相当。而阅读理解任务则是CBT语料的命名实体类问题上进行的,基于文本蕴含识别的方法在CBT语料的命名实体类问题上取得了69.2%的准确率,是目前已公布的单模型最好结果。
其他文献
近年来,工业机器人的研究和应用一直是科学研究和社会关注的热点之一,但由于种种原因,工业机器人的研究,尤其是应用前进的非常缓慢,其中既有社会因素也有技术因素,除了一些社会因素
移动机器人的研究和开发近些年来受到了人们的高度重视。机器人在运动的过程中具有根据周围环境的变化而自主采取相应措施的能力,人们对机器人的这种能力的要求越来越高。因
云计算是一种允许用户通过网络,随时随地、方便、按需地使用共享资源池中可以快速供给和释放的资源,且只需很少管理工作或与供应商联系的模式。弹性是云计算的一个非常重要的
人脸检测作为人脸信息处理中的一项关键技术,近年来在模式识别与计算机视觉领域中已经成为一个十分活跃的研究方向,具有极高的学术研究价值和商业应用价值。随着智能化信息处
随着信息时代的来临,大量以文本格式存储的信息出现在Internet、数字图书馆及公司的Intranet上,基于人工智能的文本分类是处理这些文本信息的重要支撑技术。特征提取及文本表
伴随着互联网的飞速发展,P2P(Peer-to-Peer)网络作为一种分布式计算架构,进入我们的视野和生活,成为近年来业界研究和关注的一个焦点。P2P应用的蓬勃发展,也带来了种种的安全
随着计算机应用的不断普及,越来越多的生产企业依靠IT技术来缩短产品的生产周期、提高产品的质量水平、完善制造工艺。连铸作为炼钢的重要环节,如何缩短产品的生产周期、提高
由于校园网初期建设的局限性,网络中各个应用系统的建设由各个职能部门自己负责,没有遵循统一的数据标准,数据格式也各不相同,系统间无法实现有效的数据共享,于是便形成了局
学位
本文对参数曲线曲面造型中的一种新的几何造型方法--非线性样条曲线曲面造型进行了深入的研究。其中包括基于三角/双曲多项式的类二次非均匀B样条曲线曲面,基于代数多项式、三
图像插值技术是图像处理领域的基础技术,在图像处理领域有着重要的应用。经典的插值方法,一般是基于低通滤波的思想,实现简单,算法的计算复杂度可观。但是不能很好的处理图像