基于注意力机制的文本情感分类研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:palerm97
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本情感分类是一个自然语言处理领域中的常见问题。随着大数据时代数据规模的爆炸式增长,用户在互联网的使用中积累了大量的文本数据,如何从文本中有效提炼出用户的情感倾向成为了如今自然语言处理领域的一大挑战。而文本情感分类方法作为处理该问题的有效方法之一,也因此得到了研究者们的广泛研究。现有的文本情感分类方法主要使用神经网络相关技术及结构以提取到原始文本中的深层特征信息,进而根据提取到的特征完成文本情感倾向上的分类。因而,如何从原始文本上提取到更为有效的特征成为了现今文本情感分类研究中的主要难题之一。目前,在现有的文本情感分类模型中主要存在以下不足:首先,在文档级的情感分类任务中模型通常专注于文本的整体特征,而忽视了文本内的语义关系与位置依赖,使得模型在预测过程中出现由于语序变化造成的判断错误的问题;其次,文档级的任务中很多模型没有考虑到局部特征与全局特征的有效融合,从而影响了实际的模型性能;第三,方面级的文本情感分类为近些年情感分类中的新兴研究方向之一,然而在方面级的文本情感分类任务中很多研究对于文本中目标方面与上下文之间的关系探索不足,存在建模困难的问题;最后,对于方面级任务中的目标方面特征与上下文特征没有很好地融合,忽视了方面词对上下文特征的影响,从而造成的特征构造不够全面。针对上述存在的问题,本文开展了深入的研究并提出了相应的新的文本情感分类模型,主要工作如下:(1)针对文本情感分类任务的现有科研文献进行广泛性调研,同时对于文档级与方面级的任务进行深入地研究,掌握了现有的用于解决该类问题的主要方法与技术手段,同时根据现有的方法进行分析,总结研究中所存在的不足与待改进之处。(2)提出了一种基于注意力双向门控卷积单元的文档级文本情感分类模型(AttBiGRU-CNN)。现有的文档级情感分类研究中,存在文本信息的语义关系与位置依赖的建模不足,且全局特征与局部特征没有办法很好地进行融合的问题。因而本文模型将注意力双向门控卷积单元与卷积神经网络的思想相结合,在关注到语义关系与位置依赖的特征建模的同时,将局部特征提取与全局特征融合相结合,得到更为深层次的特征,进而提高分类上的精度。(3)提出了一种基于注意力与非线性权重图卷积网络的方面级文本情感分类模型(Att-BULGCN)。现有的对于方面级的文本情感分类任务的很多研究中,存在对于上下文的关系特征建模不足以及上下文特征与方面特征融合不足的问题。因而本文模型通过结合非线性权重图卷积网络进行上下文特征关系的深度挖掘,同时采用注意力机制进行特征之间的融合,提高了在方面级的情感分类场景下的分类效果。(4)针对以上提出的两种模型,分别对其在多个公开数据集上进行了相关实验以及对实验结果进行了深入分析。实验表明,本文中提出的两种模型与其他的对比模型相比,在对应指标上取得了更优的指标结果,实验结果也对本文提出的两种模型在不同的对应场景下的效果加以验证。
其他文献
随着计算机相关技术的迅速发展,医疗领域开始广泛运用计算机相关技术来提高医疗服务水平,包括医疗信息管理、临床疾病辅助诊断等。此外,医疗信息化的快速发展,使得医疗信息系统中积累了大量的医疗数据。深度学习算法能从大量的数据中学习出数据的抽象特征,这些特征可以用作对目标进行分类和识别,其有效性已在很多实际应用中得到验证,其中不乏在医学方面的应用。如何将深度学习方法应用于医疗数据,建立分析模型,是当前医疗数
减员与增效,本来就是一对难以调和的矛盾,更何况是在业务繁忙、事无巨细的一线供电所。化解供电所被动减员与提质增效的矛盾,不仅仅考验着制度设计者的构建力,更考验着一线管理者的智慧力。供电所结构性缺员与老龄化问题积弊已久,特别是在农电员工“退休潮”汹涌而来的近两年,如何在现有条件下,重整供电所人财物资源,采取积极有效的管理措施化解被动减员与增效的矛盾,是绝大多数基层供电企业管理者面临的一道难题,也
期刊
本文是对图像复原中的去雾算法这个领域做了一系列的研究探索。简单来说,本文首先介绍了结合神经元注意机制(Neuron Attention,NA)的更迭去雾网络所使用到的一些关键算法与模块。其次介绍了关于双向长短期记忆网络(Bi-LSTM)的基本构架。最后介绍了关于神经元注意力机制的基本结构,以及其所采用的深度和点卷积的运算过程。NA模块是在通道注意力机制的基础之上发展而来的,可以通过模拟神经元之间的
随着智慧教育的不断发展,自动判卷已经成为未来的一种趋势,而作为智慧教育的入口,OCR识别也越来越受到研究者们的重视。其中作为OCR识别系统中的手写体数学公式识别一直因为其复杂多样的二维结构,导致其研究进展缓慢。本文以数学公式的二维结构为着手点研究数学公式的识别,并进一步研究表达式一致性判别的相关问题,最终构建了一个初中数学填空题自动判卷系统。其主要研究内容如下:对于数学公式识别,本文采用编码器-解
行人重识别是在图像库中检索与查询图像具有相同身份的行人图像。目前,行人重识别在智慧城市、刑侦取证、社会安全等领域有着广泛应用。然而,行人重识别需要依赖大规模的有标记的数据集来训练模型,而数据标注的高成本使得基于监督学习的方法难以扩展到现实应用中。因此,如果能在不使用数据标注的情况下,将在其他数据集中训练的模型直接迁移到新的数据集中,将会对极大促进行人重识别技术的商业化进展。本文借助域适应、影响函数
地表上行长波辐射是反映地球表面冷暖状况的指标,是地表辐射收支的关键变量之一。在已有地表上行长波辐射产品的估算算法中,地表均被假设为朗伯体,对地表热辐射方向性的回避会给地表长波上行辐射的估算带来很大的误差。对同一地物进行多角度准同步观测是解决热辐射方向性最直接最有效的方法,然而,目前在卫星尺度只有ATSR系列传感器可以提供两个角度(0°和前向55°)的准同步观测。两个角度不足以驱动热辐射方向性核驱动
湘西土家族摆手舞源远流长,是土家族传统文化的重要内容,在各种节日庆典中发挥着重要作用。虽然湘西土家族摆手舞在当地受到部分人的高度关注,但是在传承发展方面却面临着困境,亟待寻求多条路径予以优化解决。本文立足于舞蹈教育层面,在简要介绍湘西土家族摆手舞的基础上,明确了传承和发展湘西土家族摆手舞的重要性,并重点探讨了如何在舞蹈教育过程中传承和发展摆手舞,希望相关举措具备参考借鉴作用。
随着知识经济时代的到来,知识在生产生活中发挥着越来越重要的作用,为了让知识流动起来消除“信息孤岛”现象,基于区块链的知识共享技术已经成为了当前研究重点。在知识共享环境中共享网络通常地域分布广阔,网络状况复杂并且对工作效率和安全性要求较高。但是由于当前区块链共识算法大多基于同步或半同步网络假设,相应的设计难以应对网络延迟类攻击,并且不能同时保证可伸缩性和安全性,使得基于区块链的知识共享技术难以在应用
基于自然语言描述的行人图像检索研究指的是给出一段自然语言形式的文本描述,从行人图像数据库中检索出与文本描述最相符合的行人图像。随着卷积神经网络和循环神经网络的快速发展,计算机已经具备高效提取图像与文本特征的能力。然而,仅仅提高视觉模型或者文本模型的特征提取能力对基于文本的行人图像检索研究的性能提升收效甚微。由于图像和文本特征分属于不同模态,如何减小不同模态之间的语义鸿沟成为提高基于文本的行人图像检
近年来,由于国家层面对境外融资政策的支持,境外发债迅速成为中资企业特别是地方国企融资方式的新宠。分析中资美元债的发行模式、存在的潜在风险及应对措施,具有现实指导意义。