基于自注意力深度循环网络的智能问答

来源 :西北大学 | 被引量 : 0次 | 上传用户:tongjingjj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速普及,用户从网上获取知识与信息变得更加方便,但代价是数据爆炸式增长所带来的数据过载,降低了用户获取信息的效率。智能问答可以从大规模数据中快速捕捉用户提问的相关信息,但传统的智能问答方法存在下列两个缺点:(1)依赖于精细的特征工程。这种人工定制的特征提取策略需要专家知识且主观性太强,在不同问答场景下的推广能力较差。(2)传统问答技术多基于词频等统计特征,无法捕捉到文本的上下文信息,而这些上下文信息对分析文本语义至关重要。经过近十余载的快速发展,深度学习在众多研究领域都取得了重要突破,从而证明了深度模型的特征表达能力指数倍于浅层模型。此外,多种注意力机制的引入,进一步提高了深度模型对复杂文本语义的表达能力。基于上述思考,本文主要研究如何利用深度模型与注意力机制来应对智能问答任务。本文的主要研究内容有:(1)针对特征提取问题,本文设计了一种基于注意力的双向LSTM模型用于特征提取并应用到智能问答任务中。双向LSTM网络模型通过加入三种“门”的结构,解决了传统循环神经网络的梯度消失问题;并且由于其在正反两个方向分别提取特征,从而解决了特征缺少上下文信息的问题。(2)研究对比了几种经典注意力机制在智能问答任务上的效果。本文在面向智能问答的深度模型中引入了性能最优的自注意力机制。自注意力机制通过计算文本序列中不同词汇的重要性分布向量,将词汇的重要信息融入到文本的高层次特征表达中。该机制在一定程度上避免了提取语义特征的过程中出现的信息冗余,并且凸显了文本序列中的重要性信息。本文在InsuranceQA等公开问答数据集上验证了模型。实验结果表明,本文设计的基于自注意力深度循环网络在智能问答任务上的效果优于其他基于深度学习的智能问答算法。
其他文献
<正>2018年12月29日,十三届全国人大常委会第七次会议表决通过了包括《中华人民共和国民用航空法》修改在内的《关于修改〈中华人民共和国劳动法〉等七部法律的决定》,习近平
利用CloudSat卫星观测资料,从云物理观测和温度垂直结构角度对贵州地区冻雨形成机制进行分析。结果表明,对冰相机制的冻雨,CloudSat卫星的CPR雷达反射率、云冰含量和温度廓线
在移动阅读资源建设与服务中,图书馆将馆藏作品数字化向馆舍以外注册读者提供,制作和传播书目数据和摘要,移动阅读平台供第三方传播阅读资源,传播读者的作品阅读评论,都存在
目的:探讨陕西地区汉族人群中中青年缺血性卒中与β1肾上腺素能受体(ADRB1)基因多态性的关系。方法:选择136例中青年缺血性卒中患者为卒中组,同期另选择青年健康体检者150例
本文主要采用文献资料和实验对比的研究方法,发现柔力球专项辅助教学法能够在有限的时间内调动学生的学习积极性,让学生在轻松的环境下完成考试内容的学习,有效提高学生考试成绩
公司解散诉讼应由公司住所地法院专属管辖,原告股东的适格为法院立案受理公司司法解散的条件,而公司经营管理发生严重困难、公司继续存续会使股东利益受到重大损失、通过其他
在国家"一带一路"走出去政策的指引下,越来越多的中国企业在马来西亚承接工程项目,但由于适用的法律法规的不同,很容易出现税务风险。本文根据中资企业在马来西亚承接项目所
近年来,双元组织能力研究在西方越来越受重视,双元组织能力理论正成为组织理论中新兴的研究范式。本文采用文献研究法,对近年来国外的相关文献进行梳理,从双元组织能力的起源
<正>寻常痤疮是一种多因素引起的毛囊皮脂腺的慢性炎症性皮肤病,好发于青春期男女,近年来临床上在青春期后(大于25岁)依然发病的患者逐渐增多,称为青春后痤疮。我们采用疏肝
2009年,为在世界范围内推动手卫生,世界卫生组织(World Health Organization,WHO)发起了年度世界手卫生日活动.手卫生也是预防和遏制抗微生物药物耐药性(antimicrobial resistan