基于深度学习和注意力机制的文本情感分类研究

来源 :河南理工大学 | 被引量 : 0次 | 上传用户:gameryufei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言处理的目的是使用计算机技术来分析处理人类产生的文本数据,了解人类的意图,最终可以实现人类与计算机之间无障碍的沟通,其主要包括机器翻译、情感分析与智能问答等领域。文本情感分析的主要任务就是对带有主观情感的文本进行特征挖掘和分析,从而得出其情感倾向。随着互联网的快速发展,深度学习算法的实现得到了技术上更坚实的支撑,其在各个领域中都做出较大的贡献,使用深度学习方法来解决自然语言处理的问题成为更多研究者的选择。本文以文本情感分析为背景,总结相关的研究方法和技术以及常用的算法模型,并提出了改进算法模型,在提高分类正确率上有一定的效果。本文首先论述了词向量技术、传统机器学习算法、深度学习算法和注意力机制的相关理论知识,并详细介绍了卷积神经网络、循环神经网络、注意力机制对数据的处理过程。然后介绍了使用Word2vec模型训练词向量的步骤与方法,为进一步提升中文词向量的质量,使用多达1G的与数据集领域相关的语料进行训练,并对训练过程中的具体模型与参数进行说明。随后针对传统卷积神经网络池化层损失特征过多的问题,提出一种混合文本情感分析模型CNN-GRU-Attention。该模型使用门控循环单元GRU代替传统卷积神经网络的池化层,并引入注意力机制强调重要信息特征的影响力。使用互联网上搜集到的中文评论对模型进行评估,实验验证了该模型可以提升文本分类正确率。最后针对单通道网络随着层数的增加提取特征不充分的问题,提出一种双通道注意力文本情感分析模型。将词向量矩阵作为卷积网络通道和长短时记忆网络通道的输入,同时学习文本的局部特征和序列特征,并利用注意力层得到文本特征重要性的概率分布。使用京东购物评论对模型进行训练,并设置对比试验进行验证,实验结果表明该双通道模型的可行性和有效性。
其他文献
近年来,大型跨国公司的税收激进行为日益突出,企业避税问题成为监管部门重点监督防范的问题。与此同时,会计师事务所在其中扮演的角色也越来越受到关注。2013年,英国下议院会计公共委员会质疑四大会计师事务所利用法律漏洞帮助跨国公司避税。据英国媒体调查报道,很多跨国企业在会计师事务所的帮助下,使用转移定价等方式进行避税。学术界以往的研究讨论了公司避税的手段、影响因素及经济后果等方面,鲜有文献关注审计师在企
随着工业4.0和智能制造2025等概念的提出和实施,自动导引车(Automated Guided Vehicle,AGV)在自动化工厂、智能化物流系统等领域得到了广泛的应用。AGV的大量应用提高了相关
在非交换射影代数几何的研究中,需要将一个诺特分次代数的商范畴用其它代数的商范畴来刻画.在非交换奇点解消理论中,需要将Gorenstein代数的商范畴用某个自反模的自同态代数
当前,我国机器人市场进入高速增长期,工业机器人连续五年成为全球第一大应用市场。然而工业机器人在使用中存在能量的不合理利用,造成大量的能源浪费,其能耗问题已上升到国家
麦盖提斜坡在其形成演化过程中经历了多期构造运动,构造应力场多次发生改变,从而发育多期次活动的断裂构造,成为斜坡带的一个显著特征。麦盖提斜坡不同期次断裂构造的构造变
蛋白质是生物体实现生命活动的基础,单一的蛋白质难以实现生物体丰富多彩的生命活动,它们通过彼此相互作用并形成蛋白质复合物来实现特定的生物功能。因此在结构复杂、数据规模较大的蛋白质相互作用网络中,精准且高效的识别出蛋白质复合物对理解蛋白质相互作用网络的结构、分析细胞实现生命活动的过程以及生物医学的研究均有重要的意义。在现有的研究中识别蛋白质复合物主要分为实验方法和计算方法,一般采用实验方法花费的时间比
网络信息系统的快速发展和广泛普及,有效提升了网络中信息流动的速度,使得网络信息的传递和交互变得极为频繁。而且近年来,智能移动设备市场占用率的增高使得人们将会更加便捷地获取网络信息,极大方便了个人生活。然而,由于利益的驱使,信息系统中的漏洞和监管措施的不完善使得网络信息安全问题频发。随着用户数量的不断变化和用户属性的不断增多,导致信息系统对用户管控变得越来越麻烦,传统的访问控制技术很难对用户的访问请
随着经济的发展,科学技术水平的提高,农业生产已经不再局限于靠天吃饭,农业生产方面运用科学技术,不仅可以提高农产品产量,还能增加利润收益。科学技术水平的应用在当下越来
同步定位和地图构建(SLAM)是机器人在行进过程中,通过传感器获取环境数据来建立环境地图并同时估计出自身位姿的过程。随着移动机器人应用领域的增多以及应用场景的复杂化,部分未知的半结构化环境以及完全未知的非结构化环境下的移动机器人定位成为迫切需要,SLAM成为解决移动机器人自主导航的关键技术。本文主要分析了基于深度传感器的视觉SLAM实现方法,包括鲁棒的图像特征点检测和匹配、机器人运动的相机位姿估计
模块度可用于检测社区网络结构的强度,取值越大表明划分后同一社区内部关系越紧密,不同社区之间的关系越疏离,该特点与聚类的目标不谋而合。因此,近年来愈来愈多的聚类算法基于模块度进行设计,并取得了较好的聚类效果。然而,这些算法多属于硬聚类的范畴,受限于隶属度只能取0和1二值,聚类的准确率仍可进一步提高。此外,聚类分析过程结束后,聚类有效性检验是一个关键环节,常以有效性指标的取值衡量聚类算法性能以及准确率