基于深度学习的机器阅读理解研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:cnmeim
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解(MRC)要求机器根据所给的段落和问题回答答案,MRC任务在一定程度上体现了NLP当前的发展水平。近年来,BERT等预训练语言模型在包括机器阅读理解等众多任务上取得了卓越的进展,但仍存在预训练过程和阅读理解任务形式不一致而引入误差、模型训练目标和评价指标不一致而引入误差、模型缺少推理能力和反向思考能力等问题。本文在预训练语言模型的基础上,提出了一种融合多重思维的阅读理解模型。该模型充分挖掘段落、问题和答案三者之间的关系,将阅读理解重新定义为一个先生成后选择的两段式任务。答案生成模型在基于Sequence to Sequence模型的基础上对编码器、解码器和答案生成方式均作了改进,答案选择模型则利用对比学习改进了最终答案的选择方式。为了验证模型的有效性,本文设计了相应的多重认知神经网络用于中文机器阅读理解数据集Du Reader。针对编码器部分,首先对机器阅读理解任务在通过预训练语言模型编码时需将段落和问题拼接编码而引入误差的问题提出了精读模块。精读模块可以根据注意力机制对预训练语言模型输出向量进行二次编码得到和问题强相关的段落向量。其次模拟人类推理过程提出推理模块,将精读模块编码的向量和问题向量通过多步运算推理得到最终推理结果。编码器部分分别从正向和逆向两个方向推理得到结果向量,并对结果向量通过一定比例融合来模拟逆向思维在人类阅读理解中对正向思维的辅助作用。解码器部分采用类Transformer解码器,引入和问题向量的互注意力计算,使模型在解码过程中每个时间步都对问题保持高关注度。字符生成方式采用指针生成网络,以最大程度还原段落中的细节。答案选择模型使用对比学习将答案生成模型生成的答案向量和prompt模板生成的“标准答案”向量按照真实评价指标顺序做排序对比,让模型学习到什么样的答案能获得更高评分的逻辑思维后进行答案的选择。最终,模型在DuReader数据集上ROUGE-L和BLEU-4两项指标分别达到了54.71和40.46,和基线模型相比ROUGE-L分数提升了14.2%,BLEU-4分数提升了4.1%,并通过消融实验证明了模型每部分的有效性。
其他文献
计算阶段、认知阶段和感知阶段是人工智能通常分为的三个阶段。计算阶段通常表现为计算机进行正常的数据运算和存储。人工智能在认知阶段的表现为计算机能够接收来自外界的信号,在这个阶段主要的研究方向有文字识别、图像识别和语音识别等。感知阶段使现阶段研究重点,该阶段不仅包含了前面两个阶段的能力,还在此基础上能够进行数据的理解、数据的判断、新数据的生成、数据的实际运用等。其中最为核心的部分就是计算机的理解能力。
学位
随着互联网新闻越来越多,想要短时高效地在众多文本中找到自己想要的内容,获取需要的信息变得越来越困难,因此文本摘要变得必不可少。抽取式摘要已经取得不错的效果,但抽取的摘要不连贯、可读性差;生成式摘要虽然能生成较为通顺的语句,但极容易偏离主题,生成错误的摘要以及重复的语句。本文将两种摘要模式结合起来,提出混合式的生成方式,另外针对现文本生成摘要中生成摘要不准确、生成词汇较死板以及文本摘要评价不准确等问
学位
近年来,依托中国经济社会的高速发展,中国信贷市场发展迅猛,信贷产品的风控管理也随之变得越来越重要。但当前业界信贷模型多聚焦历史还贷数据,对匿名特征数据与征信数据的利用较为欠缺,且部分模型结构单一、泛化能力不强。本文为了解决上述问题,扩展传统信贷模型思路,利用增强学习与混合学习的思想,面向中小规模的匿名特征金融征信数据展开研究,设计并实现一种新的金融征信风控模型。本文首先针对具有海量匿名特征的中小规
学位
随着生成对抗网络的发展,研究人员逐渐开始关注如何对一些真实的人体属性进行编辑,并达到肉眼无法鉴别真假的程度。目前,对于人体属性的编辑的研究主要分为两个方向:其一为人体的面部编辑,该研究成果可以应用于短视频的特效处理等工程应用中;其二为人体动作迁移,这项研究可以实现在只有一张人物照片的情况下,完成该人物的各种动作变换。本文针对这两个研究方向,分别提出了两种不同的新思路。针对人体面部编辑,本文提出了一
学位
相较于依靠声传感器获取语音信号的传统语音侦听系统,激光侦听系统可通过测量声源附近物体的声致振动信号,在远距离、非接触条件下获取目标语音信号,因此被广泛应用于安防监控、公共安全、军事等领域。在常见的激光测振技术中,散斑图像测量技术相较于光反射调制测量技术和激光干涉测量技术而言,对光路和硬件设备的要求相对较低,实现难度较小,因此在激光侦听领域具有广阔的应用前景。本课题在使用散斑图像测量技术的激光侦听系
学位
在种类繁多的自然语言处理任务当中,构建人性化的对话系统是非常具有难度的,而开放领域对话系统更是研究中的重中之重。如何让一个开放领域对话系统具备生成多种多样的回复的能力,以及如何让对话系统在对话过程中保持角色一致都一直是研究过程中需要解决的重难点问题。本文针对上述提到的两方面问题提出了下列具有针对性的改进方案:(1)针对开放领域对话系统的回复多样性问题,本文中提出了一个基于潜在空间条件对抗学习的两阶
学位
以常规低位嫁接为对照,研究富平楸子高位嫁接对植株抗旱性的影响,为生产中该砧木资源的应用提供参考。以一年生富平楸子组培盆栽苗为砧木,分别在距地面10cm和60cm处嫁接‘秦脆’,采用土壤含水量75%~80%为对照,土壤含水量45%~55%为处理,进行为期60 d的中度干旱胁迫处理,测定相关指标,比较两种嫁接高度下植株的抗旱性强弱。结果表明:长期干旱胁迫后,与对照相比,2种类型苗木的各指标均显著降低,
期刊
语义相似度计算一直以来都是自然语言处理领域研究中的热点与难点问题,其在搜索引擎、智能客服、翻译软件等诸多计算机应用中都作为主要的算法支撑。深度学习算法的发展逐步取代了传统的语义相似度计算,深度学习中的孪生神经网络框架因天然的结构优势使其在语义相似度的计算问题上具有较好的性能。但由于其对两个文本的特征提取是相互独立的,无法获取两个文本之间的交互特征,难以学习到句子间的逻辑关系。为了改善上述问题,本文
学位
随着互联网经济的发展,有声书、网络电台等应用进入日常生活,高效识别和理解语音内容的需求日益提高。为了缓解语音识别模型对训练数据的依赖,工程上往往采用汉语拼音作为语音输入到汉字结果之间的中间结果,将识别流程拆分为先将语音特征识别为汉语拼音(声学模型),再将汉语拼音转换为所需的文本结果(语言模型)这两个阶段。本文的主要工作如下:(1)在声学模型中,采用连接时序分类(Connectionist Temp
学位
音乐教育是基础教育的美育科目之一,随着人们的教育观念不断精进,多元艺术的融合已成为趋势,戏剧元素在音乐课堂的运用就是具体的体现之一。无论是中国独具魅力的戏曲还是西方源远流长的戏剧,其独特的表现形式与多综合艺术的素材给了人们很多教育观上的启发。尤其是基础教育阶段的学生,身心发展处于快速发展阶段以及很重要的塑造时期,众多研究及事实表明戏剧元素在音乐教育中的使用有利于学生更好地完善性格以及塑造更为全面人
学位