论文部分内容阅读
机器阅读理解是自然语言处理领域的研究热点之一,也是人工智能在处理和理解人类语言进程中的一个长期目标。机器阅读理解研究的主要内容是给出文本和问题,让机器按照文本中的内容和含义回答问题。随着人工智能的发展,使用基于深度神经网络的模型解决机器阅读理解的任务成为主流。现有的机器阅读理解模型可以分为两部分组成:文本表示部分和答案选择部分。在文本表示部分,多数模型是以LSTM或GRU为基础的,但由于这种RNN类网络对文本的连续序列学习的特性,使得模型提取到的文本语义存在长距离关联语义信息消失的问题,且模型在训练中比较耗时。为了解决长距离语义信息消失的问题,很多模型引入了注意力机制来和RNN类网络结合。但目前很多模型对注意力机制的应用是不够细化的,没有考虑到使用注意力机制在文本的多个语义层次上进行文本表示的效果。针对上述问题,本文对使用注意力机制在多个层级上对文本表示的方法进行了研究,主要研究工作如下:1)提出一种基于多层自注意力机制的机器阅读理解模型MHS。该模型根据文本的层次结构,将文本划分为多个独立句子之间的关联性、句子内部单词之间关联性和来自不同句子的单词之间关联性等多个层级,在这些层级上仅使用自注意力机制对文本进行语义信息的提取和表示。经在斯坦福机器阅读理解数据集SQu AD1.1上的测试和实验,MHS取得EM值71.2%和F1值81.5%的结果,上述性能指标均优于基于RNN类网络的模型。在斯坦福官方后期的SQu AD2.0数据集上,MHS取得了EM值68.3%和F1值70.1%的结果,该结果要优于斯坦福官方的基线模型Doc QA和BNA。2)研究MHS模型效果的稳定性问题。对MHS和基于RNN的模型的稳定性进行了对比实验,在数据变化幅度大的数据集上,MHS模型的F1值的浮动范围在1.7%内,而基于RNN的模型的F1值浮动范围在5.9%内。实验结果表明,相比基于RNN的模型,MHS的稳定性更好,在数据变化幅度大的数据集上泛化能力更强。3)研究多层自注意力机制中层级之间的连接方式对模型效果的影响。本文在多层自注意力机制中引入了一种基于软阈值函数的改进连接方式,并在SQu AD1.1数据集上与常用的连接方式,即Dense Net和Res Net进行了对比实验。使用基于软阈值函数的改进连接方式,相比于Dense Net,使模型的F1值提高了4.7%,相比于Res Net,使模型的F1值提高了1.8%。上述实验结果表明,基于软阈值函数的层间连接方式能够提高MHS在数据集上回答问题的效果。