基于双向注意力流和自注意力结合的机器阅读理解

来源 :南京大学学报(自然科学) | 被引量 : 0次 | 上传用户:zhoujans
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解(Machine Reading Comprehension,MRC)一直是自然语言处理(Natural Language Processing,NLP)领域的研究热点和核心问题.近期,百度开源了一款大型中文阅读理解数据集DuReader,旨在处理现实生活中的RC(Reading Comprehension)问题.该数据集包含1000k的文本、200k的问题和420k的答案,是目前最大型的中文机器阅读理解数据集,在此数据集上发布的阅读理解任务比以往更具有实际意义,也更有难度.针对该数据集的阅读理解任务,分析研究了一种结合双向注意力流与自注意力(self-attention)机制实现的神经网络模型.该模型通过双向注意力流机制来获取query-aware上下文信息表征并进行粒度分级,使用自注意力机制捕捉文本和问题句内的词语依赖关系和句法信息,再通过双向长短期记忆(Long Short-Term Memory,LSTM)网络进行语义信息聚合.实验结果最终得到相同词数百分比(BLEU-4)为44.7%,重叠单元百分比(Rouge-L)为49.1%,与人类测试平均水平较为接近,证明了该模型的有效性.
其他文献
文章概述了黑龙江省沙尘天气的时空分布特征和形成条件,从黑龙江省沙尘天气主要沙源区及示踪方法、沙尘天气监测及预报等方面评述了它的研究进展和问题。从发展趋势来看,加强
共轭亚油酸(Conjugated linoleic acid,CLA)是一种功能性油脂,是食物中的天然成分,对人体无毒副作用,主要存在于牛、羊等瘤胃动物的乳脂及肉制品中。近年来大量动物试验表明C
介绍了湖北省2009年开展农民创业培训的基本状况,总结了湖北省实施农民创业培训的做法与效果,分析了影响农民创业培训效果的障碍因素,提出了进一步提高农民创业培训效果的建
本文提出了基于灰度直方图和投影技术的图像检索算法,该算法既考虑了图像的灰度信息,又考虑了图像的空间信息。通过对灰度向量、投影向量及中心矩的计算,提高了检索效果。实
口腔溃疡是口腔粘膜病中的常见病、多发病,发病无明显季节差异,一旦发病,疼痛难忍,影响语言、进食、心情,从而对生活质量产生不利影响.其发病机制与机体免疫功能失调或与病毒
本文从当代花鸟画与中国古典园林建筑的审美、表现力、文化内涵以及社会意义方面着手论述,意在研究当代花鸟画与中国古典园林建筑之间的关系;进而分析中国古典园林建筑融入当
研发平台汇聚的创新资源是企业最终实现技术突破和可持续性优势的重要载体,但当前存在技术被窃取及技术转化率低等阻碍情境,导致企业无法在研发平台中获取持续性技术优势。选
随着老龄化程度日益加深,银发浪潮滚滚而来.在我国,大多数老人还是习惯于在家里养老,一方面,居家养老的成本相对要低很多,另一方面我国养老具有“反馈性”,子女对父母赡养的
以山东大学图书馆“文体节”的浸润式课程为例,阐述了山东大学图书馆立足当前形势,创新服务模式,借助“文化节”积极为师生搭建传统文化宣传教育平台,多渠道、多角度的弘扬中
美声唱法这种声乐演唱方式是广为人知的,也是非常重要的一种唱法,在美声唱法中,呼吸被频繁运用,正确的呼吸方式能够为美声唱法添彩,使得歌唱更加动人,可以说,歌唱的呼吸方法