基于注意力机制的跨领域情感分析的应用研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:woshishen654123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感分析是指挖掘文本中人们对某一实体的观点、情感、情绪、态度等。跨领域情感分析是指利用源域的有标签数据作为训练集,协助训练目标域的情感分析模型,并在目标域的数据上测试。当需要训练一个全新领域的情感分类器时,标注数据往往是成本最高的一部分,限制了着整个模型的开发流程。使用跨领域情感分析方法,能够使用目前已有的其他领域标注数据,训练全新领域上的情感分类器,大大减小了标注成本和开发时间。注意力机制能够帮助模型获得到更好的文本语义表示,且运算简便快捷。将注意力机制添加到跨领域情感分析任务中,能够促使模型获取到更加准确的文本语义表示,从而更好的对齐源域特征和目标域特征,达到更好的迁移效果。本文首先提出基于跨领域注意力机制的层次注意力迁移网络,解决了现有方法中对所有数据无区分对待,无法强化训练领域特有数据的缺点。跨领域注意力机制根据数据特点,给予每条数据不同的损失权重,对于领域特有数据,给予较大的权重,对于非领域特有数据,给予较小的权重,从而对源域中的特有数据进行强化训练,着重学习特有数据中的特征对情感分析的影响。实验表明,基于跨领域注意力机制的层次注意力迁移网络在20个迁移任务中的17个任务上超过了层次注意力迁移网络,平均准确率提升约为0.53%。本文又提出基于注意力机制预训练语言模型的迁移网络,解决了现有方法中单词在不同领域中使用唯一的语义表示的缺点。本文采用BERT预训练语言模型作为基模型,利用BERT模型中的注意力机制和结合上下文的表示方法,根据不同语境,给予同一个单词不同的语义表示,获取到更加准确的文本语义表示。同时结合伪标签迁移方法实现跨领域情感分析。实验表明,基于注意力机制预训练语言模的迁移网络在20个迁移任务中全部超过了层次注意力迁移网络和基于跨领域注意力机制的层次注意力迁移网络,平均准确率提升分别为6.37%和5.84%。除此之外,本文在基于注意力机制预训练语言模型的迁移网络的基础上探索了扩大源域个数会对跨领域情感分析造成什么影响,并提出基于注意力机制预训练语言模型的多源域迁移网络,将源域个数从1个扩大为4个。实验表明,基于注意力机制预训练语言模型的多源域迁移网络性能要优于基于注意力机制预训练语言模型的迁移网络,平均准确率提升为2.16%。
其他文献
一、法院能否受理以确认土地为前提的侵权案件$$司法实践中,土地侵权案件一般也存在有关土地的所有权和使用权争议,这类案件的显著特点是:一方面,当事人的诉求是侵权损害赔偿,并非
学位
为了改善电商虚假评论自动识别的效果,首先从传统的监督学习方法入手对网上商品评论的真实性进行判断,进而提出了利用社交图谱识别虚假评论。这种方法基于一种假设,就是同类
作业作为高中地理教学中不可缺少的一个环节,其内容、形式、评价和反馈等都会对学生学习产生影响。文章梳理了中学地理作业中存在的问题,并提出地理作业设计有效性的理论及重
核心提示:近两年,辽宁少数企业在优胜劣汰的竞争中退出了市场,也因此衍生了大量劳动争议案件。辽宁省高级人民法院成立课题组,对2015年、2016年审结的79起因企业破产引发的劳动争
期刊
自HTML5规范发布以来,移动互联网发生了巨大的变化。人们发现,通过把HTML5嵌入到原生应用的混合开发方式,能够快速开发出适应多种平台的移动端应用。张家口职业技术学院的校
“一带一路”倡议的提出为我国以及沿线国家的经济发展带来了新的机遇,农产品贸易是“一带一路”区域经济合作中的重要组成部分,园艺产品贸易对我国农产品对外贸易有着深刻影响。随着“一带一路”倡议的推进,沿线国家园艺产品贸易整体网络呈现出什么样的结构特征?哪些因素影响沿线国家园艺产品贸易整体格局?通过对这些问题的探讨,有利于推动沿线国家之间的园艺产品贸易,促进“一带一路”区域经济建设的互联互通、互利共赢。本
以转基因拟南芥(Arabidopsis thaliana)Col-LUC为亲本材料,把它的种子进行甲基磺酸乙酯(EMS)诱变,在M2代幼苗中筛选出一株荧光降低的候选突变体,命名为rll1(reduced LUC lumi
本文以甘肃旅游开发为例,通过对来访甘肃的旅游者的意识进行调查和分析,并将Herzberg“工作中正常的人的四种类型”理论运用于旅游者类型的研究中,从一个崭新的理论视角分析
为了解混凝土或岩石类材料厚壁圆筒受外压作用的承载特性,根据俞茂宏的统一强度理论,考虑材料的应变软化特性,得到了适合应变软化材料的统一强度准则,并据此推导出了混凝土或岩石
综述了我国高分子防水材料的性能、研制及应用现状;展望了其发展前景.