基于多任务学习的方面级情感分析算法的研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:brxdq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感分析,作为自然语言处理的重要研究领域之一,随着研究的深入以及网络文本情感挖掘的现实应用需求越来越大,作为更为细粒度的方面级情感分析越来越获得重视,已经成为研究热点。方面级情感分析模型,主要是基于深度学习方法,有不少实质性的进展突破。但是深度学习方法依赖标注数据集进行监督学习,而方面级情感分析任务数据集较少,这使得模型过拟合风险较大,容易陷入性能瓶颈和应用障碍。本文,提出基于多任务学习的方法,利用多个相关任务的信息帮助整体多任务模型的泛化能力提高,在一定程度上缓解过拟合问题。方面级情感分析,分为方面词提取任务和方面情感极性分类任务,虽然这两项任务关系密切,但是任务形式差异较大,这就容易导致多任务模型内部出现负迁移问题,从而显著影响多任务模型整体性能表现。本文,首先使用预训练模型BERT,训练得到文本的词向量。之后,将包含全局语义特征的词向量,通过使用混合编码方式,利用Bi LSTM结合CNN进行特征提取,分别为情感极性分类任务提取全局上下文特征;并为方面词提取任务,提取局部特征,从而提供所需词组边界信息。同时,将Bi LSTM所提取的特征归为特定任务的私有特征空间,将CNN所提取特征归于多任务共享特征空间。然后,针对负迁移问题,设计特征交互学习模块,主要引入多头注意力机制进行,实现多维度不同语义子空间的特征学习;从而对私有和共享特征,以及上下文表征和局部特征,进行有效的融合,并且控制不同特征空间的信息流向,提高特定任务所获取特征的质量。为了捕捉方面提取任务和方面情感极性分类的潜在关联信息,本文设计了任务交互共享模块,其核心原理是通过多头注意力机制在不同语义子空间进行相关性计算,获得两个任务之间潜在关联信息特征。最后使用关联信息语义对特定任务的中间隐藏状态进行更新,从而使得特定任务获得语义丰富的特征。最后,通过全连接层进行标签学习,并使用CRF推理出任务的输出标签。本文模型,使用细粒度情感分析任务所常用的Sem Eval2014以及Twitter等公开数据集进行实验。其中对比实验的结果验证了本文模型的有效,通过与多个基线模型相比,本文提出的模型在方面词提取任务和方面情感极性分类任务在精确率、召回率、F1值等客观评价指标均有一定的提升。并且,进行了消融实验,实验结果进一步表明本文所设计的特征交互学习模块以及任务交互共享模块,能够有效提升多任务模型的整体性能表现。
其他文献
随着互联网信息科技的发展,人们在日常生活需要处理各式各样的信息,信息过载成为人们快速获取需要的信息内容的一个重大难题。推荐系统的出现无论是对于业务需要的高效工作,还是日常生活的品质体验,都帮助人们大大减轻了筛选信息的工作,带来巨大的帮助和收益。推荐系统的实现方法是根据学习用户或项目本身的属性信息,以及用户与项目的历史交互信息来挖掘用户可能感兴趣的项目。但传统的推荐算法只关注于用户和项目的直接交互数
学位
社交媒体中存在着大量的用户情感信息,企业决策者们不仅希望了解用户情感,还希望了解相应的原因,以帮助他们从用户层面思考和优化产品。在这样的需求下,情感原因检测成为自然语言处理中具有重要价值和应用前景的任务之一,并逐渐发展为情感原因对提取任务(ECPE)。传统的二阶段ECPE模型存在着模型错误传递无法修正的问题,尽管后来的端到端模型解决了这一问题,但仍存在着文档事件特征利用不充分、混淆因子夹杂的问题。
学位
命名实体识别作为自然语言处理领域中的基本任务,可以从非结构化的文本数据中提取实体信息,在问答系统、信息抽取、阅读理解等其他自然语言处理领域任务起重要支撑作用。在文本数据爆炸式增加、GPU计算能力快速提升的背景下,深度学习被应用于解决命名实体识别问题并取得了良好的效果,成为解决该领域问题的主流方案。虽然命名实体识别技术取得了迅猛发展,但许多命名实体识别研究都是在英文领域,中文领域的命名实体识别依然存
学位
组合设备是一种高度自动化集成制造系统,能够对单枚晶圆进行高效且精确的加工。因此,它被广泛应用于半导体芯片制造。组合设备由一对真空锁、一个传输模块以及若干个加工模块组合在一真空环境中。随着半导体芯片制程日益复杂,由若干台组合设备通过缓冲模块耦合而成的多组合设备逐渐被晶圆厂采用。由于组合设备的价格不菲,因此寻找有效的调度与控制方法提高其利用率和回报率,是非常有必要的。近几年来,芯片产品种类多样化,晶圆
学位
随着信息技术推动全球由传统工业进入信息社会,农业也迈入数字化、智能化的新时代。研究基于三维点云技术的植物形状表达与表型分析,对促进农业的高产量、高质量生产具有至关重要的意义。然而,对植物幼苗进行三维重建,常存在户外环境光线不稳定、叶片间的遮挡、摄像头视野限制、扫描精度过低等因素导致植物幼苗点云出现噪声、稀疏、缺失的情况,影响了植物表型分析的准确度。因此,研究植株点云数据的修补算法,能辅助植物三维形
学位
随着互联网的发展,信息量指数增长,如何从大量信息中获取所需要的信息是一个重要问题,因此,信息抽取的相关技术研究愈发重要。事件检测是自然语言处理中事件抽取任务的子任务,是信息抽取中的一个重要方向。给定一段文本,事件检测旨在从中检测出潜在的事件类型。目前的事件检测主流是对文本中的触发词进行识别,并判断该触发词属于哪个事件类型。这种基于触发词的事件检测方式会加大数据标注的工作开销,此外,在事件检测任务中
学位
故障诊断是设备维护中的关键部分,轴承作为现代机械设备中的基础元件更是维护过程中的关键部分。由于滚动轴承受各种复杂因素的影响,使之成为整个旋转机械系统中可靠性最差的零部件之一。传统的轴承故障诊断方法以人工设计降噪、滤波、特征提取为主,手动提取特征的过程相对繁琐,且需要一定的背景知识,在面对海量数据集时越来越力不能及。此外,轴承工作周期跨度大,工况复杂多变,这也使得手动提取特征愈发困难。随着深度学习的
学位
随着硬件计算能力提升与众多深度学习方法的普及,行为识别算法逐渐应用于现实中。基于骨骼的行为识别算法是行为识别领域下的一个热门研究领域,吸引了不少研究人员的目光。众所周知,相对于深度学习方法,传统方法可以在较少样本情况下较快地进行训练与预测,但是准确率有所不足;而深度学习方法可以得到较高的准确率,但是需要较多样本用以训练并且计算量较大。这启发我们将传统方法与深度学习方法进行结合,使传统方法与深度学习
学位
情感分析(Sentiment analysis)是自然语言处理的重要领域之一,其目的是从各种数据源中收集基于特定主题的主观意见或感受。但是情感分析在带有复合情感的句子中可能无法准确分析出不同方面情感倾向。因此更具细粒度的情感分析任务,方面级的情感分析(Aspect-based sentiment analysis)被提出,这个任务旨在识别出被分析主体涉及到的多个方面的情感倾向。方面情感分析由多个子
学位
随着深度学习技术的推进以及用户需求的不断更新,人工智能领域对于文本和图像的研究不再局限于单一的自然语言处理任务或者计算机视觉任务,整合这两种不同模态数据的跨模态学习开始受到人们的重视,并展现出了巨大的应用前景。文本语义图像合成作为一种结合文本和图像数据的跨模态图像生成任务,能够更好地适应日益多元化、复杂化的应用场景,满足用户的多样化需求。因此,该任务逐渐成为了跨模态学习领域的一个研究热点。本文是关
学位