一种融合多种类型语法信息的属性级情感分类模型

来源 :暨南大学 | 被引量 : 0次 | 上传用户:jmdjy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和社交网络服务的迅猛发展,每天都有大量的文本信息在各个平台发布。这些海量的文本数据刺激了企业、政府对文本分析的需求,也为机器学习的发展提供了充足的动力,促进了自然语言处理领域的蓬勃发展。情感分析是自然语言处理领域的热门研究领域,而属性级情感分析则是情感分析中非常具有挑战性的研究问题。它具有广泛应用场景,例如电商平台用属性级情感分析从产品的评论中自动抽取消费者对产品不同方面的评价;政府舆论监管部门用属性级情感分析从微博、贴吧等网络社区自动梳理出大众对社会事件的态度;金融公司通过金融社区的讨论自动提取出散户对某只股票价格未来走势的预测。属性级情感分析颇具难度,它又可分为多个子任务,其中属性级情感分类受极大关注。预训练语言模型的快速发展使得自然语言处理领域的各个方向都取得了突破性的进展,图卷积神经网络在自然语言处理领域的应用也逐渐增多。本文基于BERT语言模型和图卷积神经网络提出一种用于解决属性级情感分类的模型BERT4GCN。本文的研究工作包括:(1)本文提出一种同时利用BERT和依存句法树两种语法信息来源的模型框架BERT4GCN。模型使用BERT的中间层隐藏状态引入多种类型的语法信息,与基于依存句法树的多层GCN相结合,同时考虑了文本的序列特征和树结构的语法特征;除此之外,BERT4GCN模型根据BERT中自注意力机制的注意力权重动态调整依存句法树的边。一方面,这种动态调整使调整后的图不局限于语言学家对语法树的定义,而使其更适用于属性级情感分类任务。另一方面这种动态调整可以一定程度上修正依存句法分析器的错误;最后,本文提出一种将词与词间的相对位置信息引入到图卷积神经网络中的方法,用以解决图卷积神经网络应用于文本数据(序列数据)时忽略文本中词与词间相对位置信息的问题。属性级情感分类问题是非常具有挑战性的语义理解问题,在数据集较小、无法学习通用语法知识的情况下,外部语法知识可以很好提升模型的效果。本文提出的BERT4GCN在不使用额外数据的情况下通过同时使用基于依存句法树的图卷积神经网络和BERT引入了多种类型语法信息,帮助模型更好地理解输入文本。(2)针对本文提出的BERT4GCN模型,我们在Twitter、Sem Eval 2014 Task4 Restaurant和Laptop三个英文数据集上进行了实验,并与多个前沿的属性级情感分类模型进行比较,通过对比实验结果,验证了我们的方法的有效性和优越性。
其他文献
碳金融作为解决温室气体排放的金融手段具有光明的发展前景。碳金融能够引领全球经济由“高碳”转向“低碳”,同时实现人类社会的可持续发展。碳金融起源于西方发达国家,所以国外商业银行在这方面拥有更多的经验和实践。目前国外商业银行已经基本形成了碳金融的产品业务体系,碳金融衍生品、碳交易、碳金融绿色信贷等业务在国外商业银行已相当成熟,同时国外诸多碳金融项目实践也取得了预期的效果。我国作为世界上最大的发展中国家
随着经济全球化和社会主义市场经济的不断发展,现代企业面临的经济形式日趋复杂,为增强风险抵御能力,提升市场竞争力,拓宽盈利渠道,越来越多的企业通过并购、重组等方式开展横向或纵向的多元化投资,走上了集团化的发展道路,集团公司已成为我国经济中不可或缺的部分。而内部审计作为公司治理体系的基石之一,在集团公司中扮演着关键的角色,集团公司的生存与发展离不开良好的内部审计管理。集团公司以追求利润最大化为目标,内
近年来,随着科学技术不断的进步和世界经济日益紧密,企业也呈现出了规模化和多元化的发展。在这一背景下,传统的财务管理模式,对于很多公司的发展会产生阻碍,特别是多国公司和规模较大、组织机构相对复杂的企业。因此,寻找一种更为符合企业发展战略的财务管理模式显得特别重要。很多公司为了实现自身的战略目标而建设了财务共享服务中心,将各个单元中重复的工作分离出来,以简化公司内部流程,从而使各项操作更加标准。财务共
随着我国经济增长趋缓,商业银行存贷利差逐渐减少,产品同质化严重,商业银行面临激烈的行业竞争,除了调整业务结构、强化风险控制外,优化成本核算方法,加强成本控制,成为当今商业银行需要重点关注和解决的课题。而商业银行经过多年发展,目前已具备相对完善的信息管理系统,积累了非常丰富的数据基础,从组织架构的角度来看,目前商业银行业务板块分布较为清晰,组织架构也逐步向事业部制转变,已逐渐具备实施作业成本法的条件
水资源是全人类赖以生存的宝贵财富,长久以来被认为地大物博的我国,水资源问题却并不乐观,我国人均水资源占有量与世界平均占有量相比较少,人口总量占世界22%的同时,淡水总量却只占世界淡水总量的8%,目前国内约300多座城市都处于缺水状态,且缺水形势仍日益严峻。与此同时,水资源的污染对我国来说却始终是一个突出的问题,以饮用水为例,据有关部门统计,我国有82%的居民饮用的都是浅井水和江河水,其中有超过75
随着经济社会的发展,个人所得税在社会经济中的作用越来越重要,它不仅是调节个人收入分配的政策性工具,而且在组织财政收入和调节宏观经济波动方面起到了不可替代的作用。个人所得税是目前我国仅次于增值税、企业所得税的第三大税种,但是个人所得税占税收总额的比重过低,使得个人所得税的作用不能充分发挥。2018年8月31日,全国人大常委会审议通过了《个人所得税法》。我国个人所得税税制发生重大变化,从分类税制向综合
破产程序启动时,通常破产管理人难以同时被确定,这使得债务人财产处于被债务人管理或无人管理的状况,从而危及债务人财产的安全并损害债权人利益。为弥补上述债务人财产管理的“真空”,国际上多数国家建立临时管理人制度作为过渡。我国现行《企业破产法》未规定临时破产管理人制度,理论界对于该制度的设立一直存在较大争议。本文通过文献分析、比较论证以及实证分析的方法,针对我国现行破产管理人制度的现状及弊端,借鉴域外临
在现存社会,全球经济都朝着良性发展态势进步,对于企业来说竞争也自然越发的激烈,竞争所争夺的资源从生产资料逐步扩大到各类顶尖人才的争夺,然而这些顶尖人才或是掌握着企业的核心技术秘密或是掌握内部信息的高端管理人员,诚然,高端人才的流动,必然涉及到企业商业秘密的保护及自主知识产权的维护,那么如何规避企业的信息从员工这里流出呢?此时劳动者与用人单位签订的竞业限制协议就应运而生。竞业限制制度在国际上从产生到
近年来出人意料的黑天鹅事件频频发生,全球经济增长速度放缓,各地区增长不平衡现象愈发严重,全球经济政策不确定性指数连年攀升。尤其是2019年以来,中美贸易冲突升级,导致贸易政策的不确定性大幅增加,2020年初突然发生在我国的新型冠状病毒肺炎导致我国经济形式阴影笼罩,经济政策不确定性再次提高。面对中美贸易冲突升级和经济形式扑朔迷离,国家不断出台各种政策来促进经济复苏。各项已有政策的调整和新政策的出台虽
学位