基于注意力机制的文本细粒度情感分类研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:bee4832
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,文本情感分类已经成为自然语言处理领域最活跃的方向之一,在数据挖掘、信息检索、问答系统、智能推荐等方向都有重要应用。传统的文本情感分类通常是句子级或者文档级情感倾向识别任务,只需要给出句子或文档针对实体的整体情感倾向。但是如果想要获取用户对实体每个属性的情感倾向,就需要提出新的方法和框架解决,文本细粒度情感分类应运而生。细粒度情感分类即推断文本中涉及的每个属性的情感倾向,一般分为正向、负向和中性情感。注意力机制能够从源序列数据中提取得到与目标相关的内容,被广泛应用在细粒度情感分类模型中提取与属性相关的情感特征,显著提升了模型的性能。因此,本文以注意力机制为基础进行文本细粒度情感分类的研究。本文的内容主要包括:(1)本文提出了一种融合属性级注意力和上下文级注意力的协同注意力机制,交替的利用注意力机制对属性和上下文进行建模从而获取属性和上下文中重要的相关特征。在此基础上,本文设计了Coattention-LSTM模型,该模型利用LSTM提取上下文词语间的非线性组合特征,同时可以利用协同注意力机制从上下文和属性中提取有效的交互特征进行分类。(2)本文基于记忆网络提出了Coattention-MemNet模型,该模型采取一种多重循环的协同注意力机制交替循环提取上下文和属性之间的交互特征,能够在循环过程中根据历史计算结果动态调整属性和上下文注意力网络的权重分布。(3)本文设计了一个新的编码器用于细粒度情感分类,编码器通过自注意力机制计算一定窗口内词语与中心词的语义联系程度,并将联系紧密的词语作为上下文语境,然后利用卷积操作得到中心词与上下文之间的修饰关系。经过实验验证,编码器可以有效识别情感分类中的否定关系以及部分反语。(4)针对注意力机制在多属性样例中性能不佳的问题,本文提出一种简单有效的方法将位置信息融合到注意力机制中,该方法将相对位置信息作为一种权重先验信息,分别融合到属性和上下文注意力权重的计算过程中,使属性注意力网络能够根据距离属性较近的上下文信息计算属性表达向量,并且指导上下文注意力网络分配更多的权重到距离属性较近的情感特征上。本文在SemEval 2014和Twitter两个公开数据集上进行实验验证,其中Coattention-LSTM准确率相比于IAN提升了1%~1.5%;Coattention-MemNet相比于传统的记忆网络提升了1%~2%;新的编码器相比于LSTM有约1.5%提升;加入位置信息后,Coattention-LSTM和Coattention-MemNet提升0.3%~0.9%。
其他文献
东北是我国重要的春玉米主产区,辽北地区地处东北南部的松辽平原,这一地区气候条件有利于玉米生长发育,是辽宁省玉米主产区。为了探究耕作栽培措施对该地区玉米产量和资源利用效率的影响,连续三年(20172019年)在辽宁铁岭县开展田间玉米栽培模式大区对比试验,玉米品种选用“先玉335”和“郑单958”,设置不施肥旋耕等行距(T1)、一次性施肥旋耕等行距(T2)、秸秆还田+氮肥分期翻耕等行距(T3)和有机肥
植物多样性是植物与其他有机体及其生存环境之间长期相互作用下形成的生物系统以及与此相关的各类生态过程。植物物种多样性和功能性状多样性的综合研究有助于更好地解析植物
群落构建作为生态学的一个核心问题,对于理解物种共存机理和生物多样性维持机制具有重要作用。不少生态学者致力于揭示群落构建机制,开展了大量的研究工作,探索不同的生态过
本文系统研究了稀土(Gd3+、Tb3+、Eu3+)掺杂磷酸三钙(TCP)的结构、发光及水化性能。运用高温固相法结合空冷和炉冷两种冷却方式合成了不同浓度Gd3+、Tb3+和Eu3+离子掺杂的磷
句子相似度建模是许多自然语言处理应用的核心,因此备受关注。由于语言表达的模糊性和可变性,测量句子相似性具有挑战性,近年来也受到了很多关注。以前大量的工作集中在特征工程上,并且已经证明几种类型的稀疏特征是有用的。最近,由于词嵌入的成功,研究人员试图通过句子嵌入来研究句子相似性建模。这一类中的大多数方法专注于学习句子的语义信息并将其建模为连续向量,然而句子的句法信息尚未被充分利用。另一方面,先前的工作
裂缝是碳酸盐岩油藏油气储集的重要空间和流体运移的主要通道,对开发效果有很大影响,碳酸盐岩储层裂缝扩展规律复杂。因此,研究裂缝在开发过程中的动态扩展规律,对于科学高效
城市污泥农用是目前国际上污泥资源化处置的重要途径之一。但由于污泥中含有重金属等有毒物质,使污泥作为肥料在农地中施用受到很大限制。与污泥农用相比,由于林地具有远离人
图像场景识别是计算机视觉领域中的一项基础性研究,场景富含丰富的语义信息,能够为目标检测、动作识别、自动驾驶等其他视觉任务提供支持,在导航、无人机视觉等领域也有广泛的应用。由于场景内容的多样性,传统的手工特征难以全面表达场景图像的隐含信息。而近年来,深度学习在计算机视觉领域取得了显著的成功,因此本文采用能够自动学习提取图像特征的深度学习方法对图像场景识别展开研究,主要内容包括:本文对不同的图像分类任
污水灌溉、化肥使用、废弃物处理等人类活动造成的土壤Cd污染已备受公众关注,如何治理和修复土壤Cd污染也是目前亟待解决的难题,而探明Cd在不同类型土壤-植物-动物的分布迁移
在经济全球化的宏观环境下,我国企业间形成日愈复杂化的竞争环境。企业间的竞争不再仅仅是企业产品本身的竞争,而更加强调企业的社会责任感。然而我国企业普遍未能积极披露社会责任信息,总体披露质量较差,各个企业披露信息的情况也存在较大差异性。目前,实务界、理论界对企业社会责任信息披露的研究主要集中在外部制度环境和企业内部特征等方面,而鲜少从管理者个体的层面展开。然而董事长和总经理作为高阶梯队中的最高管理者,