在情感分类中基于标签相关性权重筛选机制的文本增强方法

来源 :西南财经大学 | 被引量 : 0次 | 上传用户:myhululu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展和文本挖掘技术的流行,经济学和金融学可以通过文本情感分类获取到有用的信息。文本情感分类是有监督学习,所以在情感分类任务中,深度学习模型的训练需要大量的有标签数据,否则深度学习模型容易过拟合。标注数据依靠人工,需要大量的时间和精力。为了减少标注数据的工作量,常常对文本进行规则变换来生成同质异构的数据,也就是数据增强。但数据增强生成的新文本也存在问题:由于传统的文本替换增强方法是随机选择词语替换,替换后的词语,可能在情感倾向方面与原文本的标签不一致,可能造成替换后整个新文本和原文本的标签在情感倾向方面不一致,替换后的新文本和原文本标签组合后再输入到模型进行训练,会阻碍模型学习文本与标签之间正确的联系。在文本情感分类的数据中,具有明显情感倾向的词语与文本的情感标签的相关性很大,而中性词与文本的情感标签的相关性很小。为了解决上述随机替换增强的随机性造成新文本和原文本情感标签不一致的问题,本文旨在通过情感标签与文本词语的相关性程度来选择相关性较小的文本词语进行替换增强,从而避免增强后的文本与标签的情感倾向不一致。主要工作有:(1)量化标签与文本词语的相关性程度。一是通过逻辑回归模型进行情感分类,得到的模型系数经过指数化表示相关性程度;二是通过Label Embedding模型进行情感分类,得到的attention score表示相关性程度。(2)在替换增强方法中,按照标签与文本词语的相关性程度选择相关性最小的前N(N是超参)个词语替换增强。本文称这种方法为加权替换增强方法。应用的替换增强方法有Mask替换增强、基于词林的近义词替换增强、基于近邻图的Embedding替换增强和Bert生成增强方法。本文使用NLPCC2014数据集、GitHub的网购数据对加权替换增强方法进行测试,实验结果显示本文提出的标签相关性选择机制能有效改进四种替换增强方法,在准确率和F1-Score上有所提升。
其他文献
我国从20世纪80年代开始探索文化产业,进入21世纪后,文化产业成为国家实现经济增长、优化经济结构的重要推动力。文化产业是市场经济条件下繁荣发展社会主义文化的重要载体,是推动经济结构调整、转变经济发展方式的重要着力点,也是重要的国家软实力,对推动我国的经济增长、增强综合国力有巨大贡献。当前,文化产业已经成为增强国家文化软实力的重要力量,也是我国国民经济的重要组成部分。尤其近年来互联网的迅速发展推动
在新医改推进已近十年的今天,我国卫生行业主管部门及部分学者、医院管理者逐渐认识到了在公立医院构建起完善的内部控制的必要性和迫切性,并开始研究、借鉴国内外成功组织的实践经验,在公立医院的管理运营中引入内部控制。但是由于我国公立医院的双重目标导向(即功能性目标和公益性目标)和运营管理的特殊性(即业务和相关政策的复杂性),内部控制理论体系以及《行政事业单位内部控制规范(试行)》在我国公立医院的有效实施和
山地城市复杂多样的地形地貌孕育出丰富的山水格局。作为山地城市河流水系自然生境空间的重要组成部分,边缘区河岸带成为自然社会、城市乡村、水陆环境交错的重要空间载体,是生态环境保护、绿色产业发展、城乡建设统筹的关键纽带,对美丽中国、诗意人居环境构建具有重大的现实意义。然山地城市边缘区河岸带受自然社会、保护发展等多元交织影响导致其复杂破碎特性愈发明显,已经影响制约着河岸带的健康良性演进与生态服务功能输出。
据报道,75%的雇员至少从雇主那里偷过一次东西(Mc Gurn,1988),所有雇员中有33%到75%的人有偷窃、欺诈、破坏和自愿旷工等行为(Harper,1990),42%的受访女性在工作中遭受过性骚扰(Webb,1991)。由此可见工作场所员工越轨行为的普遍存在对组织构成了严重的经济威胁。据统计,工作场所员工越轨行为的年度成本高达42亿美元(Bensimon,1994)、400亿至1200亿美
在科技飞速发展的大背景下,稀土是世界各领域的材料来源。而身为“稀土储备和出口第一大国”,稀土也是我国重要的战略资源。从上个世纪80年代开始,国际稀土市场对稀土资源的需求量疯狂增长,我国稀土矿石和产品开始大量对外出口,直到2012年我国的稀土储备量份额从80%以上锐减到40%以下,加上欧债危机、全球经济不景气、我国经济增长放缓和“黑稀土”的影响,使稀土产品价格波动幅度大,稀土行业利益严重受损。所以,
随着我国近几年经济的下行,部分企业对资金有着强烈的需求。而股权质押由于存在比如流动性好、风险相对较为可控、操作简便、成本较低等方面有着非常多的优点,因此其规模迅速地成长,成为了一种非常重要的融资手段。但是,这种融资方式也并非十全十美的,随着上市公司股东将其公司股份进行质押以融得资金,贷出方会设定平仓线以控制自身所面临的风险,而这将对借款股东造成控制权转移以及公司股价崩盘的风险。有鉴于最近多年国内股
2018年,我国组建中央审计委员会,作为深化党和国家机构改革中的重要举措,其意图在于加强党对审计工作的领导以及强化审计的监督作用,构建集中统一、全面覆盖、权威高效的审计监督体系。2019年7月新出台的经济责任审计规定更是提出了“促进领导干部履职尽责、担当作为,确保党中央令行禁止”的新要求。党的十九大提出,“要优先发展教育事业,建设教育强国是中华民族伟大复兴的基础工程,必须把教育事业放在优先位置,深
产业耦合作为一种经济现象,是指两个或以上相关联产业在各种因素的驱动下打破了产业原有的界线,整合产业链,实现跨产业的资源优化配置,最终形成相关产业协同发展、相互促进的耦合系统的过程。产业耦合伴随着信息技术与互联网技术的变革与扩散而产生,并已成为新经济时代的一个重要主题。在这种背景和潮流下,我国文化产业与旅游产业的耦合发展现象应运而生。文化产业与旅游产业同属于第三产业,在国民经济当中占有重要地位,且作
当前,伴随着我国城镇化与现代化的快速发展,承载着宝贵的地域特色与历史文化的传统村落遭受到了文化趋同与文脉断裂的严峻挑战。而作为传统村落中人们赖以生存的物质空间街巷空间,也逐渐丧失了原真的历史风貌与空间活力。巴渝传统村落街巷空间由于其地处复杂的自然地理环境,而形成了鲜明的地域特色,孕育出了深厚的文化内涵。因此,如何在保护巴渝传统村落地域特色,延续其地域文脉的前提下,满足村落居民对街巷空间的现代化生活
自2015年国有企业实施分类改革以来,竞争性国企的混合所有制改革始终是学术界和实务界关注的焦点。2019年12月,在北京召开的中央经济工作会议决定将在下一年度开始实施国企改革三年行动方案,进一步实现国有资本布局的优化。可以认为,竞争性国企将会是未来几年国企混合所有制改革的重点。竞争性国企在公司治理方面仍然存在许多需要通过改革来进一步改善的问题,然而在改革的过程中又出现了异质资本难以融合,无法发挥治