论文部分内容阅读
机器阅读理解在自然语言处理领域中是一个很重要的研究方向,对于实现人机交互是一个极为关键的技术。而机器阅读理解由于其复杂性,一直都是评价机器自然语言理解的一个重要方面。同时由于时代的快速发展,各种文本信息不断积累,如何能利用这些文本资源,从而使问答过程更加符合实际,也是一个具有现实应用价值的课题。在实际的问答系统中,要做到全领域的问答,需要涉及到大量的知识信息,而要收集这些知识信息更是需要长年累月的积累,机器阅读理解和人类阅读理解面临的问题都是相似的,但是现实中为了降低任务难度,目前研究的很多机器阅读理解数据集都有一定的局限性,数据样本都比较少。在目标领域没有足够的训练数据的情况下,如何利用域外的数据来增强模型效果,即采用多任务学习的方法来增强主要任务的模型表现性能十分关键。因此机器阅读理解中的多任务学习方法的研究十分重要。近些年来,伴随着深度学习的发展,机器阅读理解技术不断迎来新的突破。本文研究了片段抽取型机器阅读理解任务中难点,并提出使用机器阅读理解模型和多任务学习结合的方法来解决这个问题。本文的主要工作与贡献包括:第一,在泛领域的机器阅读理解的任务中,提出基于经典的机器阅读理解模型和软约束的多任务学习结合的方法。该模型使用一个多层级上下文不同粒度的表征编码器进行文本表征,注意力机制负责连接和融合上下文和问题词中的信息,通过高速网络机制对每个训练样本施加不同的权重实现软参数共享,针对不同任务的数据集,制定不同的答案层。通过在多个公共数据集上进行实验,实验结果表明本文提出的模型在泛领域的机器阅读理解任务中表现优于传统模型。第二,在单一领域的机器阅读理解的任务中,提出基于预训练语言模型和硬约束的多任务学习结合的方法。该模型利用预训练设计好的网络结构来做语言模型任务,将大量无标注的文本利用起来,进而将大量语言学知识抽取出来编码到网络结构中,使用硬约束的方法使得多个任务共享这些网络参数,并且针对不同任务的数据集,制定不同的答案层。通过在多个数据集进行实验,实验结果表明本文提出的模型在单一领域中有更好的表现。