基于双向注意力机制和条件随机场的阅读理解模型

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:gaozheng929292
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
教会机器理解人类语言是很难以捉摸的任务,这是人工智能长期面临的挑战,同时,这已经成为工业界和学术界重要的研究领域。如何建立人工智能系统来阅读和理解文本并且回答问题,这是目前自然语言处理核心任务,而提供高性能的阅读理解系统将是问答和对话等应用的关键性技术之一。近些年来,随着人工智能技术如火如荼的发展以及计算资源的充分提升,人工智能展现出强大的生命力,而使用神经网络的方法实现机器阅读理解模型是目前流行的趋势,同时,机器阅读理解的任务需要有很强的自然语言理解和语义解析的能力。在目前主流的模型大部分基于分层的网络结构,在不同的层采用不同的策略。它们分别是表示层、融合层、结果层,其中融合层是最重要的组成结构。本文对阅读理解模型算法做了以下改进:(1)本文的机器阅读理解模型,在实现的模型表示层上,使用的是基于动态词向量表示,目前传统词向量是静态词向量,它是基于上下文无关的语义特征,无法解决一词多义的问题,同时,无法根据上下文生成不同的词向量。为此,本文使用当前主流的预训练的语言模型训练得到的动态词向量,结果表明,表示层对最后模型的效果均有提升。(2)其中在融合层上,本文的模型使用基于双向注意力机制对文本和问题编码进行深度融合,相比较传统的交互层比较简单且融合的关联性比较弱,导致模型的效果较差。本文开始把双向注意力机制进行融合,而且本文的模型还在此基础上引入自注意力机制进一步加强文本的表特能力。结果表明,通过融合层的交互具有更高的语言理解能力,同时可以提高模型预测的效果。(3)最后,在模型的输出层上,本文使用基于条件随机场的进行模型的预测,同时在两个公开数据集的验证集上进行测试,分别有答案和无答案的数据集上测试并做对比,结果表明,模型在实验效果上均有提升。
其他文献
数字出版的迅猛发展,对传统出版单位形成了全方位、多层次的挑战,许多作为内容提供商的出版机构纷纷向技术提供商延伸。文章就传统出版社开展数字出版所存在的问题进行剖析,
当前各地在发展优质稻生和中,往往中重视水稻品种和加工环节,而忽视了水稻栽培管理过程中应注意的问题。文章分析探讨了在水稻具体栽培全过程中,如何创造有利于形成优质稻的条件
<正>NOx是危害大气环境的主要污染物,NOx经二次转化已成为PM2.5的主要来源之一,而NH3-SCR是用NH3做还原剂消除NOx的有效手段。本文通过溶剂凝胶的方法制备了Mox-Mn-Ti10 (x=0-
本文依据政治影响、经济地位、社会声望等综合因素,将我国目前的社会阶层结构划分为权力阶层、资本阶层、劳动阶层三大利益团体,并对这三大利益团体的主要特征进行了深入分析
It is increasingly recognized that asthma represents a syndrome, and there is clinical and pathobiological heterogeneity. Many genes are reported to be associat
Off label use of Quetenza? (capsaicin 8%) patch in relieving post-thoracotomy neuropathic pain proved temporarily effective, but to a degree indicating limited
《体育与健康课程标准》指出:“体育教学要遵守儿童认知和情感变化的规律。在进行生动活泼和富有教育意义的活动中,要创设情境.以迎合小学生的心理需求和学习需要,使课堂教学成为
火灾往往严重威胁着公众的生命财产安全,因此早期火灾检测研究具有重要意义和价值。传统的火灾探测器主要以物理传感器为主,通过检测烟光气的变化判断是否发生火灾,但普遍存
目的通过护理不良事件的成因分析,探讨如何有效规避护理不良事件的发生,为提高患者安全管理而制定相应防范措施,并为减少护理不良事件提供临床管理依据。方法回顾我院(三级甲
Polymer solutions are used in chemical EOR processes to achieve incremental oil recoveries through obtaining favorable mobility ratios. In the process, the?in-s