基于注意力机制的机器阅读理解方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:huangys
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言处理一直以来的目标是让机器能够理解文本,实现人机交互,使机器能够了解人类的需求,从而更好地为人类提供优质的服务。阅读理解任务是测试机器能否理解文本的一种任务,是一项综合的、复杂的任务,包含文本的表示、分析、理解、推理等,相当具有挑战性,因此机器阅读理解所能达到的水平在一定程度上也代表了机器智能的水准。近几年来,随着大规模阅读理解数据集的发布和深度学习技术的快速发展,机器阅读理解任务也有了新的进展。利用大规模语料库训练得到的词向量能够较好地表示单词的含义,循环神经网络通过内部的循环结构和隐藏状态能够有效地获取文本的上下文语义信息,并且注意力机制在计算机视觉领域的成功也给自然语言处理带来了启发,因此本文将研究阅读理解任务中文章和问题的语义信息表示方法,以及如何利用注意力机制融合两者的信息,从而获取关键信息,达到回答问题的目的。本文的研究内容可以归纳为以下三点:(1)基于长短时记忆网络的阅读理解技术。首先获得能够表示单词信息的词向量,包括预训练的词向量、通过Char-CNN获取的字符级的词向量、利用spaCy工具提取的词法特征,将这些单词信息组合起来,然后通过深度的双向长短时记忆网络表示文章和问题的信息,最后通过全连接和双线性分类器预测答案。(2)基于注意力机制和多层连接的阅读理解技术。将多种注意力机制应用在阅读理解模型中,使得文章和问题的信息相互融合,从而提取出关键的信息,更加准确地预测出答案。同时为了优化模型训练,减少信息在网络传递中丢失,我们还使用了多层连接技术,使得信息在层与层之间能相互传递。最后通过模型集成进一步提升准确率。(3)搭建阅读理解可视化系统。我们基于前面的研究内容,实现了一个在线端到端阅读理解系统,该系统拥有模型预测结果的概率可视化界面,可以直观地展示答案预测过程。
其他文献
在所有金属结构材料中镁锂合金具有密度低、塑性高和比刚度高等优异性能,受到国内外研究学者的广泛关注。然而,低的绝对强度限制了镁锂合金在工程中的生产与应用。本文系统归
"一校两区"将农村分校教师变身为"工作在农村的城市教师",实现了两区范围内的城乡教师双向流动,加快了城乡教育均衡发展的进程。当然,农村分校教师在身份转型过程中,也出现了
本文简述了预拌混凝土强度检测方法和回弹法推定混凝土强度值的原理,分析了混凝土强度的影响因素,指出根据回弹法利用统一测强曲线推定混凝土强度值不足之处,提出建立黄石地
Unlike the negative attitude of Indian and Western metaphysics towards the worldly life, Chinese philosophy has always maintained a life-consciousness. Neverthe
采用天津地区常用材料制作碎石混凝土试块,进行超声回弹试验和压力试验,采集相关数据,进行4种函数模型的拟合回归,建立了天津地区碎石混凝土的超声回弹综合法地方测强曲线并进行
通过对长江水文基层站队人才队伍现状的调查分析,指出了其存在的主要问题。提出,加速高素质现代化水文基层人才队伍建设,一要科学规划,做好基层站队人员需求分析;二要改革创新,实行
康达维译《文选·赋》是学术厚重的深度翻译。由于典籍的历史性,其外文翻译要经历"语内翻译",而以注释为核心的传统"《文选》学"实质就是一个语内翻译的过程。"选学"是《文选
介绍了建立衢州地区混凝土回弹测强曲线的试验方案、及运用Excel表格进行回弹数据的回归分析的方法和步骤。
ZSM-5分子筛是一种结晶的硅铝酸盐,其拥有优异的物理化学性质,如良好的择形催化性、可调控的酸性、优良的热/水热稳定性等。ZSM-5分子筛这些独特的性质使得其在众多领域都得
急性时相蛋白APP是与感染性炎症紧密相关的一类特异性蛋白。近年来,大量的研究表明,CRP、SAA、PCT、HP、AAG、CER、Eg、PA、leptin、ALB、P—FN等多种正负性急性期蛋白与感染性