基于深度预训练语言模型的文本情感分析研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yueyue7373
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本情感分析一直是自然语言处理领域中最受关注的热点研究方向之一。这一技术在社会、市场和医疗等领域中发挥着重要作用。特别是在心理健康领域,文本情感分析技术可以帮助心理医生在人群中快速筛查心理不健康的人员。随着以BERT(Bidirectional Encoder Representations from Transformers)为代表的各种预训练网络的兴起,文本情感分析取得了巨大进展。尽管如此,如何更有效地提取文本中的情感信息、缓解数据不平衡、实现跨任务域适应等挑战依然是文本情感分析的关键研究问题。本文的主要研究内容有:(1)提出了一种基于EMT-KBERT(Knowledge-enriched BERT for Emotion task)的情感分析算法。在现实生活中所采取的文本情感数据库一般存在样本量不充分和样本不平衡等问题,造成模型在测试阶段对于带有非常见情感表达的样本表现不佳。针对样本量不充分的问题,EMT-KBERT在KBERT的知识图谱层生成的句子树上增加情感词典分支,并相应地改进后续的嵌入层和可视层,使得模型在样本量不充分时,依然能够拥有充足的常识知识和情感知识。针对样本不平衡的问题,EMT-KBERT引入目标检测领域的Focal Loss,根据不同数据库的样本标签分布特点设计基于Focal Loss的损失函数,使得模型在训练时能够更关注少数类样本和困难样本,缓解样本不平衡问题。在公开的心理咨询问答语料库和EMECT微博数据库上的实验结果表明,EMT-KBERT使不同类别实现了更高的准确率、召回率和精确率。(2)提出基于BERT和对抗学习的跨任务文本情感分析算法IS-TAL(Input Standardization and Task Adversarial Learning)。情感分析任务主要分为句子级和细粒度级,其中细粒度级具体分为实体级、属性级、实体属性级等三种。目前,大多数的情感分析模型针对某一情感任务而创建,无法实现跨任务的情感分析。研究跨任务情感分析可使得模型能够学习能力更智能、泛化能力更强。为研究不同情感分析任务之间的知识迁移,实现跨任务学习,本文结合BERT的输入形式设计出不同任务之间的输入标准化方案,使得不同任务具有相同形式的输入。同时利用对抗学习,使模型能够学习到不同任务之间的共享知识,更好地将源任务域的知识用于目标任务域中。在四个不同情感分析任务的公开数据集中,所提出的跨任务情感分析算法可实现跨任务的零样本学习和小样本学习。
其他文献
无人靶机的起降过程包括零长发射、伞降减速及气囊缓冲着陆三个阶段。零长发射为靶机经火箭推力作用实现发射起飞,伞降减速是指靶机在完成任务后经降落伞开伞载荷作用减速到着陆初始速度,气囊缓冲着陆为靶机以一定的初始速度开始接地,并在气囊的缓冲压缩过程中实现安全着陆回收。这三阶段组成的起降过程靶机都会受到一定的瞬时冲击荷载,如发射阶段的火箭推力、减速阶段的伞降阻力、缓冲阶段的接触力,故起降是一个多学科、多技术
学位
共享经济作为一种新经济业态,近几年在国内迅速成长,遍布各个领域。共享经济的发展催生出了新型的用工形式,平台企业利用互联网技术搭建起链接市场需求和服务提供者的平台,创造了新的就业机会。在共享经济模式下,平台从业者与平台企业之间的劳动关系更加灵活开放,使得劳动关系认定出现困难,劳动权益因而无法得到合法保障。这一问题已经得到一部分学界的关注,已有研究对于平台从业者劳动关系认定问题以及劳动权益保障现状问题
学位
公益慈善基金会掌握了一定的公共资源,运作大量的资金,是一种“公共”色彩极为浓厚的组织。在现有社会中,与其他社会组织相比,社会公众对公益慈善基金会的要求是最高的,无论是站在公益慈善基金会自身发展的角度,还是在募捐、善款使用和项目监管等运营方面都受到公民的关注。对公益慈善基金会可持续能力评估的研究有利于分析公益慈善基金会的发展状态,总结公益慈善基金会在发展中取得的成绩和经验,对公益慈善基金会进行可持续
学位
<正>“全球南方”概念持续升温,成为国际社会竞相讨论的话题。有观点认为,“全球南方”作为一支新的世界政治力量正在加速崛起。当前,百年未有之大变局加速演进,世界变乱交织。“全球南方”概念的提出意味着什么?我们能从中看出国际秩序演变的哪些趋势?“全球南方”未来发展的中国因素又有哪些?本期“封面话题”,
期刊
非接触式生命体征探测在医疗检测、健康监护、灾害救援、国际反恐等众多领域有着广泛应用。多普勒雷达在实现非接触式生命体征探测方面具有穿透性较强,不受障碍、光照、温度等外部因素的影响等优势。因此基于多普勒雷达的非接触式生命体征探测受到学术界和工业界的广泛关注。本文主要针对生命体征探测多普勒雷达的后端信号处理算法进行研究。本文的主要工作如下:第一,将人体反射的雷达回波信号建模为一系列复指数信号的线性组合,
学位
期刊
随着社会经济的不断发展,中国已成为世界上最大的能源消费国。根据国家统计局最新数据显示,2018年家庭部门能源消费总量占比达12.81%,是我国第二大能源消费部门。而随着化石能源消费的不断增加,由能源消费引起的环境问题日益严峻。而家庭部门作为人类社会生存发展的基本单元,其能源消费对社会、经济以及环境都有着重要的影响,由此带来的环境问题也日益严重。因此,优化家庭部门能源消费结构具有重要价值,从而让家庭
学位
城乡中国发展新时期,城乡发展由以往牺牲乡村发展来推动城市建设转向城乡统筹协调发展,各类城乡资源要素流动趋向自由化,基本公共服务配置逐渐合理化、均等化。与此同时,以人为本的价值导向成为共识,以“流”定“形”的研究范式为各类资源合理配置提供新视野。半城镇化地区是城乡之间的过渡区域,在土地利用、景观格局、人口及产业构成等经济社会要素及形成机制方面具有独特性,而珠三角地区城镇化更是典型的流空间驱动下的城镇
学位
核安全是核电发展的重要基础,也是我国国家安全的基石。如何在确保安全性的基础上评价核电机组在动态运行过程中的经济性,已成为核电监管机构、业主与各个科研单位共同关注的前沿热点议题。核电厂作为大型复杂系统,运行工况多样,系统运行呈现时序性、阶段性和瞬态等动态特性,且具有多态性、相关性和不确定性等其他特性。传统故障树/事件树分析方法难以针对以上特点进行精确建模和量化分析。GO-FLOW作为一种以成功为导向
学位
十八大以来,我国社区治理进入了以党的建设为引领的新时代。对于我国城市社区治理创新研究而言,既不同于传统的行政管理体制,也不同于西方意义上的自治模式,国家-社会关系理论、治理理论和社会资本理论等备受推崇的主流分析框架因缺乏政党维度不直接适用中国。主要体现在我国政党在国家社会的权力上,以及在治理结构和社会资本生成过程中的特殊地位和作用。当前对党建参与社区治理的研究也多集中于党建和社区党建的困境、问题和
学位