基于注意力机制的自动问答技术研究

来源 :北方工业大学 | 被引量 : 1次 | 上传用户:cninfor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今是信息技术蓬勃发展的时代,人们通过互联网可即时浏览所关注的信息。随着科技的飞速发展以及互联网的繁荣,现在每天在互联网上所产生的数据量是以前传统文本时代所远不能及的。丰富的信息资源虽然可以满足人民对于知识的渴求,但是如何快速筛选获取有价值的信息也成为当前面临的难题。自动问答系统能够挖掘句子中潜在语义信息快速的匹配问题和候选答案之间的联系,快速且准确的查找到最佳答案,满足用户想要精确定位答案的需求。本课题研究自动问答系统中的答案选择技术,本任务的具体流程如下:给定问题和多个候选答案,通过深度神经网络学习的方式从候选答案集中找出与问题最相关的答案。本任务的关键技术为计算问题与候选答案之间的相似程度。深度神经网络无需人工提取特征、语言工具或外部知识等辅助手段,使用网络自身提取语义关系。本文采用深度神经网络用以研究答案选择技术。本论文所采用的的基本模型为:基于注意力机制的单层BiLSTM网络模型。在此模型的基础上,本文从注意力机制和使用多层网络提取特征两个角度分别进行了改进。首先,对于注意力机制,本文提出了一种双向的注意力机制在问题和答案之间分步进行共现特征以突出问题与答案中的重要部分。其次,对于基本模型的单层网络结构,本文对多层网络的使用方式进行了积极探索。此外,本文还探索使用了BERT预训练模型。我们使用BERT预训练模型来进行特征提取从而生成饱含丰富上下文信息的词向量以替代使用Word2Vec生成的词向量。将改进后的模型以及基本模型在2016 NLPCC QA测试集和Wiki QA数据集上进行实验结果对比发现,改进后的答案选择模型优于基本模型。其中,结合多个改进技术的最优模型在2016 NLPCC QA测试集的评价指标MRR、MAP、ACC上分别达到了83.73%、83.67%、75.10%。相较于基础模型,本文的模型分别提高了5.20%、5.28%、6.30%。
其他文献
本文主要是对铝塑泡罩药品上的五种常见缺陷进行检测定位与分类的研究。在实际生产过程中,铝塑泡罩药品上很容易出现穿泡、毛毛、污渍、麻面和磕边等缺陷。药品上缺陷的存在,
随着市场经济的不断发展,各种委托理财业务正在不断地兴起。委托理财在给人们带来利益的同时,也带来了复杂的案件纠纷。在司法实践中关于委托理财合同中保底条款的效力认定出
自从M41S系列介孔材料合成后,介孔材料一直被应用在吸附-分离,催化,生物,色谱分析和药物运输等领域。这很大程度由于它们具有孔径均一、可调;比表面积较大等特点。介孔材料优越的特点与其多样的微观孔结构及宏观形态密切相关。本论文描述了一种合成介孔二氧化硅新型有效的方式,该方式是以混合阴阳离子表面活性剂:十六烷基三甲基溴化铵(CTAB)和十二烷基硫酸钠(SDS)自组装形成的层状液晶(LC)为模板。通过探
2019年8月30日,中国(黑龙江)自由贸易试验区正式揭牌。黑龙江站上沿边开放的新起点,再一次迎来重要发展机遇。作为国家首次在沿边布局的3个自贸试验区之一,黑龙江自贸试验区
自然语言理解(Natural Language Understanding,简称NLU)旨在以人类语言作为输入,得到机器可读的语义表示。它不仅可以让计算机理解人类语言,也有助于深化对语言能力和人类智
轴承圆柱滚子是列车圆柱滚子轴承的重要组成部分,列车在高速重载的工况下长时间运行,其轴承圆柱滚子会产生各种各样的表面缺陷,严重影响列车运行的安全性。近年来,机器视觉技
全面推进素质教育依旧在路上。近几年,教育部对广大教师的综合素质要求更完善、更具体,目的是使得教师可以适应新时代下教育发展的新要求,实现自我健康成长。本课题研究方法
土地经营权可否物权化?是我国理论和实务界研究的热点话题。研究该问题的主要原因有三:一是改革实践的需要。因为,在“两权分离”的农地权利体系下,客观上存在农业生产分散化
新一代高中生已是信息时代原住民,由微信等网络平台带动的碎片化阅读和移动学习已经深入到每个人的生活中,这必然对高中生的学习习惯产生影响。如何因势利导,引导学生发现信
近年来,肥胖症、高血糖、高血脂等一些慢性疾病的发病率呈一定的上升趋势,因此,富含不可消化碳水化合物的膳食因其所含较低的热量已成为这些慢性疾病患者的首选食物。膳食纤维被誉为“第七大营养素”,对人体健康具有重要的作用。但现阶段有研究指出,应该把膳食纤维的概念扩大到能到达盲肠的所有物质成分的总称,并将其定义为不可消化部分(Indigestible fraction,IF),此研究在营养学观点上更有意义。