注意力神经网络及其在自然语言理解中的应用研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:guojunaaaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言理解是研究计算机如何理解并处理自然语言数据的一门学科,包括机器翻译、文本问答、情感分类等多种子任务。在自然语言处理领域,许多传统的机器学习算法,如支持向量机、高斯混合模型、随机森林等都在此领域得到了有效的应用。近年来,深度学习受到了越来越多的关注,其中深度神经网络得到了较大的发展,并且被成功地应用于自然语言理解、图像处理等多个领域。神经网络是一个由多个神经元(cell)高度联结构成的网络结构。结合自然语言理解中子任务的特点,许多不同类型的神经网络被提出。最近,有部分工作表明引入合适的注意力机制可以大幅提升神经网络的性能,本文将带有注意力机制的神经网络简称为注意力神经网络。与采用均匀注意力的神经网络相比,注意力神经网络允许注意力按需分配到信号的各个部分上。在神经网络中引入注意力机制也很符合人类在解决问题时实际思考的过程。本文主要研究基于多层/分层注意力神经网络的自然语言理解算法,重点关注自然语言理解中的文本问答、文本分类及多域情感分类任务。本文的主要研究内容和创新点概括如下:
  (1)针对现有记忆网络DMN在完成文本问答任务时,仅考虑输入事实及问题单一类型交互特征、无法充分模拟输入文本间多种逻辑关联的问题,提出了一种基于双重特征动态记忆网络EnDMN的文本问答方法。在设计的双重特征动态记忆网络EnDMN中,引入全局特征及层级特征提取器,分别提取输入文本的全局特征及层级特征。全局特征体现输入文本的整体含义,层级特征体现输入文本在每一层需要被重点关注的显著特征,同时考虑这两种类型的特征可以从多个角度模拟输入事实及问题间存在的多种逻辑关联。文中在特征提取过程中,通过引入差异化网络层,更有效地提取问题的全局特征及层级特征;在特征生成阶段,采用了能够进一步融合输入时序信息及注意力权重的AttenGRU神经元,以获取更具表达力的特征向量,并最终实现了基于双重特征动态记忆网络EnDMN的文本问答系统。实验结果表明,与其它基于单一特征的动态记忆网络相比,本文基于双重特征动态记忆网络EnDMN 及其文本问答系统,在包含多种文本问答任务的bAbI数据集中,能够获得最优的平均测试准确率。
  (2)针对当前注意力神经网络在完成文本分类任务时,存在去除冗余及冲突信息不足的问题,提出了一种基于多层监督注意力神经网络AMMS的文本分类方法。在本文设计的多层监督注意力神经网络AMMS中,直接由上一层的上下文向量与输入文本各时刻隐藏状态的匹配度来生成每一层注意力权重矩阵,并据此生成输入文本在每一层上的特征向量表示。目标函数由所有层级上输入文本特征向量映射为类别标签时对应的损失函数构成(即多层监督),因而能够确保在相关信息中逐步提炼出分类所需典型特征。文中在多层监督注意力神经网络的基础上,实现了基于多层监督注意力神经网络AMMS的文本分类系统。实验结果表明,与其他分层/多层注意力神经网络相比,基于AMMS的分类方法可以在保持与单层注意力神经网络相似计算复杂度的同时,在多个文本分类数据集上获得相似或更优的性能。
  (3)针对自注意力神经网络SAN及域注意力神经网络DAM在完成情感分类任务时,SAN无法准确提取域相关情感特征,DAM无法有效处理包含较多噪声信号的长文本及获得域感知的隐藏状态的问题,提出了一种基于协同注意力神经网络CAN的多域情感分类方法。CAN联合了SAN和DAM各自的优势,通过联合使用基于域注意力机制的多域情感分类器与基于自注意力机制的通用情感分类器,分别完成主情感分类及辅助情感分类任务。用于完成辅助情感分类任务的自注意力模块中生成的各时刻的隐藏状态,作为域注意力模块中域子模块和情感子模块的输入信号,促使情感子模块在新的上下文中,有效处理具有较少无关信息的输入信号,并生成用于多域情感分类的域感知隐藏状态。此外,通过与多域情感分类器协同工作,通用情感分类器也能获得有益的输入文本域信息。文中采用协同注意力神经网络CAN,实现了多域情感分类系统。实验结果表明,与其他多域情感分类模型及方法相比,基于协同注意力神经网络CAN的多域情感分类方法,在Amazon英文及JD中文多域情感分析数据集上都能获得最优的整体性能。
其他文献
古籍善本的收藏与其他收藏品的不同之处在于其文献价值,古籍的价值亦主要在阅读和使用中体现,并已形成了独立的收藏圈,甚至成为收藏市场的—只“蓝筹股”。  近日,国内各大拍卖机构再度迎来了年末秋拍,其中不乏名目众多的古籍藏品。在国内艺术品拍卖市场整体表现略显冷清的情形下,古籍善本却以其丰富的文化内涵和独特的历史价值在市场上呈稳健上扬趋势。  而在早几年前,古籍市场未被市场所认同,通过近两年新生买家不断地
期刊
随着信息化时代的发展,室内定位技术的应用越来越广泛,尤其是在医疗监护、灾难救援方面,对定位服务的精度要求越来越高。现有的WiFi室内定位技术中主要采用接收信号强度指示(RSSI)作为测量指标,但由于WiFi信号的强度容易受到复杂室内环境影响,测量精度通常不高,继而定位精度受限。相比之下,信道状态信息(ChannelStateInformation,简称CSI)的测量精度会更高,而且有严格的信号模型作为支撑,因而具有实现高定位精度的潜力。然而目前基于信道状态信息的室内定位系统中,比如著名的SpotFi定位系
老人们在手机上下滑动之间获得快感,通过短视频,有人打开了自己的世界,有人实现了买卖自由,有人缓解了对远方亲人的想念,还有人用它填满孤独的大把时间。   某种意义上,是短视频替儿女照顾了他们的晚年,也见证和抚慰了这些可怜的灵魂——他们付出自己的时间,集体走进了一个由算法推荐营造的世界。退休老干部,每天抱着手机十小时   “别看手机了,赶紧遛狗去!”   早上七点多,老白还在被子里津津有味地刷着
期刊
上名校到底有多大的回报?   经济学家把教育对收入产生的因果效应称为教育的回报。这个概念强调,教育是一项人力资本投资,它能为投资者取得一份与金融投资相似的货币收益。但由于教育与诸多其他不可观察的因素混杂在一起对收入起作用,所以,对教育的回报进行准确的估计,一直是一代又一代经济学家们努力的目标。   芝加哥大学的著名经济学家雅各布·明塞尔在20世纪70年代是第一个使用回归方法对教育回报问题进行定
期刊
尽管北半球已经进入日照稀薄、温度降低的冬季,高球爱好者们依然有办法去找一个温暖的地方继续挥杆。四季花开的普吉岛、天空湛蓝的澳大利亚、充满野趣的南非国家公园、还有印度洋明珠毛里求斯……  南非——野味高尔夫  有一张流传广泛的照片:一个人在果岭推杆,不远处站着两只悠然自得的长颈鹿。如果在南非打球,野生动物随时都可能跑来当观众,有球手亲眼见到两只猎豹将捕获的羚羊拖过果岭带进树林,大家目瞪口呆地等候这一
期刊
随着万物互联时代的到来,越来越多的智能家居、电子产品进入人们的视线。家庭、企业以及密集区域所有事物的数字化驱动WiFi技术不断创新以满足不断增长的客户需求。2019年3月,IEEE标准协会对下一代WLAN标准EHT(Extremely High Throughput)工作组的文件审核立项,定名802.11be。为了获得更高的吞吐率和更低的延迟,启用6GHz频段将是802.11be的重大改进。本文从802.11be标准的研究现况出发,在6GHz频段与2.4G/5.8G频段进行多频段协作通信的层面对MAC协议
我国有4000万失能、半失能老人,“一人失能,全家失衡”,送往机构养老就成了最好的选择。而另外一个数字是,现有养老护理员仅50多万,存在着巨大的缺口。   在养老院里,护理员们守護着长者最后一程,也看到了自己的人生。老小孩   人到了85岁,不,还得再年轻些,80岁,会是什么样子?   饭菜一定是软软烂烂的,有些老人鼻子里会有一根细细的导管连入食道,人工慢慢推压打成碎末的流食滑入胃部;皮肤像
期刊
基于交错正交幅度调制的滤波器组多载波(Filter Bank Multicarrier with Offset Quadrature Amplitude Modulation,FBMC-OQAM)调制方案是下一代移动通信的热门多载波调制方案,它相对于5G标准使用的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)方案具有带外能量泄露低、适应时频偏差能力强、频谱利用率高的技术优点。但是,它们都具有峰值平均功率比(Peak to Average Po
随着大量智能设备(如智能手机、平板电脑、便携电脑)和海量物联网的快速普及,以及各类新业务和应用场景的蓬勃发展,无线移动设备的流量需求极速攀升。海量流量需求在第五代移动通信系统(the fifth generation, 5G)中通过应用大规模天线、毫米波和超密集异构网络等技术提高网络容量来得到解决。然而,在5G通信系统中无线信道特征将表现出不可忽视的空间差异性。同时,由于用户密度增加导致用户之间无线传输环境有部分重叠,使得相邻用户无线信道的空间相关性增强。无线多接入信道空间相关性表现为基站不同方向上无线信
随着多媒体技术的高速发展,全景应用逐渐吸引了人们的广泛关注。区别于传统的二维(two dimension, 2D)应用,全景应用可以为用户立体的呈现完整的场景信息,并且,给予了用户在全场景范围内任意选择视点观看的自由,实现了用户与场景的自然交互。然而,全景应用在实现全场景的观看体验的同时也给数据的存储、编码、传输带来了巨大的压力。在此背景下,研究人员根据全景应用的实际需求,设计了球形全景应用系统和对象全景应用系统。在实际应用中,两套全景系统有效的减少了全景应用中需要传输的数据量,然而,却引入了全景图像和立