基于多级语义表示和混合注意力机制的机器阅读理解研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dairyboy126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是语言处理的一个重要分支,目的是让机器理解文本的语义并推理相关结论。机器阅读理解的主要过程是通过输入给定的文章和问题,输出与问题相匹配的答案。相对于传统的问答系统,机器阅读理解不依赖于强大的知识库系统,而是从小范围的文章中寻找各个单元之间的关系。此类任务的数据集是从人类语言能力测试题的阅读理解这一类题型得到的。对此类任务的探索有助于机器更好地模拟人类的思考方式,是达到高级人工智能的重要一步。目前已有的机器阅读理解方法在文本表示和推理机制上的两方面不足。现阶段的文本表示问题通常使用词向量来解决,传统的词向量不仅缺少对一词多义的区分,而且对于机器阅读理解任务,预训练的词向量往往会引入外部知识的关系。从目前的机器阅读理解答案推理模型来看,大多数基于单类型的注意力机制进行语义理解和答案推理,对于文本内部关系的深度挖掘还有一定的不足。我们基于机器阅读理解任务的两方面提出改进,分别是文本表示和推理答案两方面。基于一种多级语义表示模型,分别通过字符水平表示、词嵌入表示、特征工程表示以及上下文嵌入表示,使得文本表示能够适应机器阅读理解的特定任务。其次,实现了两种混合注意力机制模型去解决该类任务。其中一种基于双向自注意力和自注意力混合注意力机制的神经网络模型解决片段抽取式的机器阅读理解任务,另外实现了一种基于双重注意力和门注意力混合的注意力机制来解决填空式的机器阅读理解任务,再通过双向的神经网络编码得到问题和文档之间的交互,以此来增强模型的语义理解能力,来获取与问题高度匹配的答案。我们在SQuAD、CNN\Daily Mail以及Children’s Book Test这三个现阶段比较著名的机器阅读理解数据集中进行了实验验证,验证了该模型的文本表示使得文章中的词语相似度更高,以及模型的语义推理提高了机器的文本理解能力,结果显示该模型预测结果远远超过每个数据集的基线水平,并在验证集中的结果优于Self-Attention和AOA等单个模型,并对模型和数据集的特点做了一些相关分析。
其他文献
人体行为识别任务在智能家居、智慧城市以及安全保障等众多领域有着广泛的应用前景和巨大的经济价值。随着人工智能技术的飞速发展,人体行为识别技术也取得了突破性进展。人
电离辐射能够引起细胞内活性氧水平剧增、DNA损伤断裂、线粒体途径细胞凋亡等辐射损伤。对生物机体也会造成不可逆的放射性损伤。目前并没有能够高效降低辐射敏感性的药物或
运用事件研究法,对2016年10月至2018年12月我国A股市场发布过公司更名公告的所有上市公司的信息进行分析,使用Stata13.0软件工具实证检验公司更名与短期市场反应之间的关系。
研究城市森林主要造林及乡土树种单位叶面积颗粒物吸滞量及其动态变化过程,比较不同树种的颗粒物吸滞能力,定量分析叶形态结构特征因子对吸滞能力的影响程度,可为选择适宜的
亏格是函数域最重要的不变量,但是要准确得到一个函数域的亏格通常是很困难的,因此,在一些具体情况下,我们更容易得到函数域亏格的界。本文分为四章:第一章给出了一些代数函数域理
本研究制备了添加SiO2/TiO2纳米粒子的聚乙烯醇(PVA)基纳米复合膜,以市售PE膜为对照考察其主要性能的变化。以失重率、硬度、白度和感官评价等为指标,探讨6种纳米复合膜对双孢菇
随着中国经济的发展,中韩两国的交流日益扩大,越来越多的韩国人举家来到中国工作和定居。自2012年以来,由于三星(中国)半导体有限公司入驻西安,来西安工作的韩国人越来越多。
这是总标题下的第九篇.全文的总目的是试图从现代物理、分子生物学与脑神解经剖学等学科领域的最新实验事实,以及相应的前沿理论领域围绕着演化概念研究的展开所获得已有理念
凉山州城乡经济差距随。着社会经济发展逐渐增大。一方面,城市现代化程度越来越高,而另一方面农村依然深陷落后贫穷的泥沼,脱贫压力巨大。凉山农村大部分还处在落后原始的小
本文运用了文献资料法、调查法、录像观察法和数理统计法在最新规则的基础上通过对甘肃省第三届大学生运动会甲、乙组有氧舞蹈项目决赛的成套动作从成套创编、完成和影响因素