基于深度表征学习的机器阅读理解算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:czyangcdut
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是指使用算法让计算机理解文章的意思并回答相关问题的一种技术。由于计算机算力和存储能力的发展以及深度学习因其具有的特征提取能力,使用端到端技术构建机器阅读理解模型成了主要的研究手段。基于中文文本的机器阅读理解因为构建数据集困难发展比较缓慢。百度公司WebQA数据集的提出,填补了这一空白。BiDAF模型在英文SQuAD数据集上具有优异表现能力,本文试图将其迁移到WebQA数据集中,得到中文机器阅读理解模型BiDAF,并对现有模型的编码层和交互层做改进,以提高模型在WebQA数据集上的F1值和EM值为研究目标展开工作。本文的主要研究内容如下:本文首先对经典的BiDAF模型进行复现。将其应用到WebQA数据集上,得到本文的基线模型。然后,本文在BiDAF的基础上,从编码层和交互层方面进行改进。对于模型的编码层,为了避免边界切分的问题,本文提出基于字词混合嵌入的机器阅读理解算法模型。为了充分考虑词语的实体属性,本文融合了实体向量对词向量作进一步的词语属性加强表示,并且加入预训练语言模型得到词向量表示。通过实验分析,编码层的改进提高了模型的F1值。对于模型的交互层,本文提出了基于注意力交互的门控膨胀卷积神经网络阅读理解算法模型。采用CNN编码序列,使用膨胀卷积扩大感受野,加入门控机制控制信息的流入,将此种编码方式记为GDCNN(Gated Dilated Convolutional Neural Network)编码。对文章和问题采用分层注意和文章自注意的机制进行交互。实验结果表明,改进后模型的语义分析能力得到提高。对以上的两种改进方法,本文做了五组实验,通过在验证集上的结果对比分析图可以看出,改进后的模型效果得到了很大提升。最后,基于上述的两种改进方法,本文提出了分层注意和自注意的门控膨胀卷积神经网络 HASA-GDCNN(Hierarchical Attention and Self Attention Gated Dilated Convolutional Neural Network)阅读理解模型,在数据集WebQA上对模型进行性能验证,将其和公开的模型做对比,得出HASA-GDCNN模型的F1值有了提升,但EM值和最好的结果相比还有待提高。本文最后还给出了 3个实验结果对比示例,表明了和基线模型BiDAF相比HASA-GDCNN模型结果更为精确。
其他文献
非线性波动方程是一类常用于描述自然现象的数学模型,也是非线性数学物理领域的前沿课题之一,相比单一的理论研究现在更侧重于结合实际应用。通过研究非线性波动方程的解,有助于推动物理学、工程技术等相关学科的发展。本文研究如下两类Rosenau方程Cauchy问题的解:一类经典Rosenau方程和一类具有Stokes阻尼项的六阶非线性波动方程。本文主要内容如下:第一章介绍非线性波动方程的物理背景、研究意义及
随着移动化设备的普及和社交媒体的涌现,汇聚了海量的用户数据,形成了多样的社交网络。如何从多元化信息中提取关键特征,简洁、快速地表达用户影响力,有利于态势感知与舆论导向,有助于区域的综合管理。尽管这方面的研究已经趋于饱和,但现有的建模方法仍然存在以下问题:一是数据缺省与不可信问题,包括数据缺失、信息虚假与隐私保护等;二是信息提取不全面问题,包括研究角度单一、特征复杂冗余以及数据之间存在着相似性与异构
随着现代化建设的加快,变电站有了对设备运行状况进行快速检测的需求,而以前的人工巡视、人工参与仪表的记录与读数已不能满足这迫切的要求;此外,由人工参与方式所带来的缺点还有由于工作人员的工作强度大所导致的不精确读数,人力成本高等;这些都说明了人工参与这种方式已不能完全满足现代化工业生产和发展的需求。从仪表成像的角度上看,在自然环境下所得到的仪表图像可能存在以下问题:图像清晰度低,仪表位置靠近图像边界,
期刊
在自然界中,声波可以通过不同的介质进行传输。针对这一现象,我们需要建立数学模型对其加以描述。在本文中,我们主要研究了跟时谐Helmholtz方程有关的三维声波传输问题。研究偏微分方程的数值方法有许多种,常用的方法有有限元方法、有限差分方法、有限体积方法、边界积分方程方法等等。本文主要运用边界积分方程方法来处理三维声波传输问题。该方法的优点在于我们只需要对边界进行离散。同时,该方法用于数值计算可以进
随着对网络通信技术的日益依赖,仅仅简单的地面网络已经无法满足要求,因此空间信息网络逐渐成为各国的角斗场。空间信息网络是由空间段(卫星等各种航天器)、临近空间段(无人机等各种临近飞行器)和地面段(各种终端及网关)组成的复杂的网络通信系统。由于空间信息网络的节点数量巨大,节点运动具有高动态性,节点之间的连接多样,导致了网络的拓扑结构复杂多变,所以有关空间信息网络拓扑的研究层见叠出,而网络的抗毁性与拓扑
纳米光子学是研究在纳米尺度上光与物质相互作用及其应用的学科,广泛应用于科技医疗等各个领域,其中金属纳米材料因具有独特的等离子体效应,成为学者们关注与研究的重点。由于物理实验耗费较大,同时仅仅依靠纯理论分析无法获得足够的信息,实际研究中一般用数值方法来模拟实际问题。为了研究非局域色散效应的光与金属纳米材料结构相互作用的内在规律,本文针对线性非局部Drude模型,设计了一种解耦的龙格库塔间断伽辽金(R
在现如今社会,图像在我们的生活中占据着非常重要的位置,图像处理有着很多的应用领域,这就使得图像处理相关方面的研究变得尤为重要。本文的核心内容是生成对抗网络(GAN),它的出现给很多相关研究都带来了更多发展的机会,而且GAN在处理图像相关的任务时能有很好的表现,本文在此基础上对图像翻译进行研究。生成对抗网络的出现虽然给深度学习带来了更多发展机会,但它同时也存在一些问题,例如收敛困难、训练时间长、训练
真空电子器件不仅用于预警雷达、精确制导、导弹防御等国防军事领域,在卫星通信和导航、深空探测等民用方面也发挥着重要作用。现代真空电子器件正向高频率、大功率方向发展,从而要求扩散热阴极具备高发射的电流密度。本课题组使用液相共沉淀法已经制备出(Ba,Ca)2ScAlO5化合物,并在浸渍型阴极上取得成功应用,但是(Ba,Ca)2ScAlO5浸渍阴极实现大发射电流密度的工作机制仍不明确。为准确控制前驱体成分
近年来,序列化推荐系统由于其结合时序信息能够更好地获取用户的长期或短期的兴趣偏好的特点,超越了传统的基于协同过滤的推荐方法,被工业界和学术界广泛地研究和应用。总的来说,根据推荐系统是否与用户产生交互,序列化推荐系统可以分为静态和动态两种:1)静态序列化推荐系统集中于挖掘用户的历史交互信息来构建用户兴趣,更多的是面向短期的推荐;2)动态序列化推荐系统不仅要利用历史交互信息,还要建模用户在推荐过程中的