基于注意力机制和双向门控循环单元的文本情感分析

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:shhgay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的快速发展和互联网使用成本的降低,网民数量正逐年增加,越来越多的人倾向于在网络平台发表如商品评论、热点话题评论等大量带有情感色彩的文本信息,分析这些主观性文本可以更好地理解用户的情感态度,具有一定的商业应用价值。如何从海量的非结构化文本中挖掘出有价值的信息成为研究的热点之一。情感分析作为自然语言处理的子任务,旨在从文本中分析出人们对于某个实体或属性的情感倾向。传统的粗粒度级情感分析只能给出句子的整体情感倾向,无法识别句子中特定方面词的情感极性,因此情感分析的粒度需要更加细化。本文以注意力机制和双向门控循环单元(Gate Recurrent Unit,GRU)为基础进行方面级文本情感分析研究。本文的研究工作和主要创新点如下:针对以往研究中忽略方面词信息的问题,提出了一种基于注意力的双向GRU方面级情感分析模型(ATAE-BiGRU)。该模型使用BERT预训练模型对文本进行向量化表示,通过GRU网络对目标和上下文建模获得目标和上下文的隐藏向量表示,提取其中的语义信息。利用注意力机制捕捉句子中的关键信息并为不同的词分配权重分数,将隐藏状态和方面词向量结合起来,方面词向量作为模型参数训练,得到文本在给定方面词上的权重表示。本文在公开数据集上进行了验证,实验结果表明基于注意力的双向GRU模型优于传统的神经网络模型。在方面级文本情感分析中,传统神经网络模型在上下文和方面词之间的交互性较少,无法充分考虑词语的语法结构信息,忽略了位置信息对方面词情感极性的影响。本文提出了融合位置信息的注意力交互模型(MAIP)。该模型使用无监督的神经语言模型Glove来训练初始单词嵌入,引入依存分析树表示词语之间的关联信息,将位置信息嵌入到词向量中,使用双向GRU获取文本的隐藏向量表示,接下来使用注意力机制获取上下文和方面词的重要信息,分析方面词和上下文之间的关联程度。实验结果表明,MAIP模型在文本情感分析任务中取得了较好的分类效果。
其他文献
推荐系统作为电子商务平台的重要组成部分之一,能够有效地捕获用户的兴趣特征,实现个性化推荐任务。作为推荐系统的重要分支,序列型推荐系统能够进一步捕获用户兴趣特征的动态变化,实现实时推荐任务。尽管经典的序列型推荐方法能够较好的为用户提供推荐服务,但是本文认为这些方法依旧存在一些缺陷。一方面,这些方法在对用户兴趣建模时往往难以捕获用户行为序列项目间的复杂转换关系以及用户对于不同项目的不同关注程度;另一方
新词指的是在词典中不曾存在,但现在被人们广泛使用的词语。随着互联网的飞速发展,大量新词也随之涌现。这些新词的出现给诸多自然语言处理任务带来了挑战,因此新词发现是存在一定价值与意义的。传统新词发现方法通过总结新词模板与统计特征提取新词,但其只能针对于特定的领域进行新词发现,或是只能提取长度较短的新词语。针对以上问题,本文提出了一种将深度学习和新词发现相结合的方法,在BiLSTM+CRF模型上融合了多
区块链是密码学、分布式最终共识机制、P2P传输等不同技术的交叉融合,以其去中心化的特征,创造了一个不可篡改的链状可信环境,受到了当前金融、法律、物联网等不同行业的广泛关注。区块链技术已经成为当下研究的热点话题,而如何在项目实际应用中提升区块链的安全性和效率则是目前亟需解决的难题。针对以上问题,本文将区块链底层架构中不同层级作为研究对象,对其中共识机制和智能合约中关键点进行全面分析;并结合冗余机制和
增强现实是以三维注册、虚实融合与人机交互为基础,实现虚拟物体和真实场景相互融合的技术。增强现实任务的核心问题是对现实场景中的物体进行准确、快速地识别和跟踪,以便将虚拟物体准确地放置在相应的位置上。本文针对增强现实中的三维注册技术进行研究,主要采用基于深度学习的方法对目标检测和位姿估计算法进行了研究与改进,提出了一个鲁棒性强且能满足实时需求的物体识别系统,本文主要贡献如下:(1)针对传统目标检测模型
随着计算共形几何的快速发展,得益于其对复杂曲面变形分析的处理能力,这给了我们将它运用到软体机器人曲面变形分析领域的灵感。针对软体机器人曲面变形的几何形状的非线性,进而导致在其变形过程中无法准确的对其进行度量,以及准确的描述,于是以计算共形几何为基础,引入Ricci流理论和计算曲面共形模的方法,将曲面形态变化问题转为曲面黎曼度量变化问题,进而建立数学模型对软体机器人的曲面变形进行定量描述。首先根据曲
物联网时代的到来,产生了海量数据,利用机器学习对其进行数据分析,可以从历史经验中提取相关信息,使其产生知识,并利用这些知识做出新的决定。在数据分析领域,技术人员要根据指定数据集构建合适的机器学习模型是一件非常复杂且耗时的事情,在此过程中需要在不同阶段选择合适的算法并不断调整优化算法参数,往往需要多次探索才能得到最终结果,对技术人员有很高的专业背景要求。针对于数据分析领域中算法选择难、调优难的问题,
近年来,物联网的发展日新月异,并在各个领域的应用场景下产生了实际的作用。伴随着机器学习算法的飞快发展和光伏硬件的不断更迭,使得光充能物联网体系有了更大的优化空间。因此,如何通过合适的模型降低网络能耗,延长网络寿命成为了可充能物联网领域亟待解决的问题。现有光充能物联网研究通常存在如下欠妥之处:1.现有光充能预测算法模式单一、忽略了小型传感器节点易受环境影响的因素,导致预测算法准确度降低。2.现有光充
地震是一种巨大的自然灾害,给人类社会的生命财产安全带来了极大威胁,能够提前预知地震的发生并做好相应措施是十分有必要的,因此地震预测是一项非常重要的任务。一直以来,地震预测的相关专家一直在探索更为准确的地震预测方式,他们也产生了很多流派,但是这些方法都存在以下缺陷:首先地震数据的获取较为困难,其次传统方法只能预测地震一个维度的信息,例如震级或经纬度,预测信息缺少完备性。针对以上这些问题,本文提出了一
互联网技术的发展推动网络购物蓬勃发展。越来越多的商品信息被上传到网络上,用户在面对数以亿计的商品往往会无法一下子明确自己的购买意愿,这对于商家以及用户都是一种损失,商家有可能错过对自己商品有隐性需求的用户,用户则会在浏览大量商品的过程中浪费大量的时间。通过研究个性化推荐能够在一定程度上解决上述问题。在推荐算法计算过程中,相对于更为稀少的显示反馈数据,用户的隐式反馈数据更加容易获得,数据量也更大。但
氧化铝原矿浆制备作为拜耳法生产氧化铝工艺流程的第一步,其制备的原矿浆是后续工序的原料,原矿浆的合格率最终影响到氧化铝的质量和产量。因为氧化铝原矿浆成分的化验结果存在大滞后性,通过预测原矿浆成分调节制备过程的配料量有着必要性和重要意义。本文研究了氧化铝原矿浆成分预测模型以及实际应用,具体内容如下:(1)对采集到的国内某铝厂氧化铝原矿浆制备生产原始数据进行可视化展示,分析数据集各参数统计量,并进行数据