论文部分内容阅读
文本蕴含识别作为自然语言处理中的一个重要基础任务,在问答系统、信息检索、信息抽取等很多任务中都有实际应用。传统的文本蕴含识别方法主要有基于人工特征的分类方法、基于词语相似度的方法以及基于符号逻辑推理的方法等。传统方法需要大量的人工抽取特征、构建规则,且需要词性标注、命名实体识别等自然语言处理预处理工具。深度神经网络可以避免传统机器学习方法中的人工抽取特征及NLP预处理工具导致的错误累计等问题,故而本文主要论述深度学习在文本蕴含识别的相关技术以及文本蕴含识别在阅读理解方面的应用。首先本文针对深度神经网络在文本蕴含中的应用进行研究,并尝试将注意力机制应用在卷积神经网络模型中,然后对目前在文本蕴含识别中的注意力机制方法与其他方法进行比较分析。同一文本在不同任务下,针对其关注的重点会有所不同。而对于文本蕴含识别任务,我们通常重点关注其中每个文本中的子事件是否匹配。具体地,如果能够将一句话分解为与其相关的子事件,并判断出假设文本中的子事件都包含在前提文本的子事件中,那么我们则可以判定两句话之间是蕴含关系。基于上述想法,本文提出了一种前注意机制记忆网络模型。通过将输入的两句话自动分解为其对应子事件的表示来推断两句话的文本蕴含关系。该模型可以提前将输入的文本信息进行汇集,相当于将原文本汇集成一个个子事件的表示。然后根据子事件的蕴含关系进一步判别两句话之间蕴含关系。自然语言的推断与理解一直是NLP的一大难题,随着深度学习方法在NLP领域取得了不错的效果,阅读理解任务的研究也逐渐增多。本文针对阅读理解任务的特点,将其转化为文本蕴含识别任务,并将本文提出的基于深度学习的文本蕴含识别方法应用在阅读理解任务中。本文的文本蕴含识别相关实验是在SNLI语料上进行的,其中前注意机制模型在SNLI中取得了86.5%的准确率,与目前已公布的最好结果相当。而阅读理解任务则是CBT语料的命名实体类问题上进行的,基于文本蕴含识别的方法在CBT语料的命名实体类问题上取得了69.2%的准确率,是目前已公布的单模型最好结果。