基于深度学习神经网络的机器阅读理解的研究

来源 :南昌大学 | 被引量 : 0次 | 上传用户:TigerStone
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是自然语言处理领域最为重要的一个方向,这也催生了一大批用于做机器阅读理解任务的神经网络模型。尽管如此,多数模型使用的仍是基于LSTM或是GRU的结构,此种结构虽然效果不错,但由于RNN的性质,导致这种结构较为耗时,且多数模型在注意力机制的应用上是一种粗粒度的,这对机器回答问题的结果会有一定的影响。因此,文中提出了一个新的细粒度的模型结构,该结构采用了在速度上能够与CNN媲美的SRU作为网络的主要结构,并使用了细粒度的注意力机制对文章及问题的表示进行对齐操作,能够较好的结合文章及问题的信息并对答案进行推断。此外,文中还使用了一个新的网络架构,称之为doubled SRU,该结构是一个两层的SRU变种,其中第二层的SRU使用了上下文的表征计算当前的隐状态。在输入层之后,文中的网络结构设计了多种对齐结构,包括文章问题对齐层、问题文章对齐层以及自对齐层等,这些对齐结构都是根据注意力机制的思想设计而成。本文在斯坦福的问答数据集上进行了实验,最终在SQuAD 1.1版本的数据集上,文中使用的模型结构在交叉验证集上取得了 85.1的F1分数,而在后期的升级版数据集SQuAD 2.0上,文中的单模型结构在其交叉验证集上取得了 65.95的F1分数,这一分数已经超越了斯坦福官方给出的两个baseline模型,但仍低于效果最好的baseline模型,仍有较大的改进空间。
其他文献
阿吉纽西审判历来被视为民主可能破坏法治的经典案例。但透过对色诺芬和狄奥多鲁斯等记载的深入分析发现,将军们在救援落海水手过程中,存在处置不当、救援不力的过失,导致雅
在“新写实”文学思潮的倡导过程中,《钟山》成功地将文学意识和媒体意识加以结合,它对文学思潮或文学倾向积极倡导,并进一步文本化、学理化、定性化。对于这一类型的文学作品集
近日,中国银保监会湖北监管局的几张罚单,再次给保险从业人员在微信朋友圈等社交平台发布保险产品营销信息的合规性提了醒儿,也为人们甄别选择保险产品时“排了雷”。这几张罚单
报纸
新的历史时期,打响脱贫攻坚战已成为中国大国崛起的时代先声。充分发挥体育行业之特有优势,提升区域民众良好的身体素质不仅是塑造健康心态的保证,更是增强个人工作能力、提
纵观目前国内镜架市场,供求关系失衡的情况已得到了很大的改善,尤其是在丹阳:镜架供应商们不再一味想方设法铺货、赊销,而是更注重销售模式创新和改善,以及现金流的顺畅;但由
编者按:$$为精准服务中国矿业转型发展,推动全球矿业可持续发展,在中国地质调查局党组精心指导下,依托下属单位中国矿业报社,成立了中国地质调查局国际矿业研究中心。旨在通过创新
报纸
利用我国2000-2017年省级面板数据,运用固定效应模型分析,探讨不同区域创业活跃度与区域经济差异的关系,实证研究创业活跃度对区域经济增长的影响。研究表明:创业活跃度与区
论述了先进林业技术装备在我国现代林业建设中的重要作用,分析了我国林业技术装备的发展现状和当前提升林业技术装备建设的有利条件,提出了林业技术装备建设发展的基本思路和
本试验旨在研究不同饲养密度和饲粮赖氨酸水平对公母分饲肉鸡生长性能、胴体组成和健康状态的影响。试验采用2×2×3三因子完全随机设计,选用罗斯308商品代肉仔鸡公
直升机工作时,旋翼、尾桨及发动机传动系统可产生90dB (A)以上的噪声。本文从听感知角度分析了典型直升机噪声的声压级、特征频率及能量分布等特点及其防护需求。