基于深度学习的多模态情感分析方法研究

来源 :烟台大学 | 被引量 : 0次 | 上传用户:zs001444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着智能终端与互联网技术的快速发展,越来越多的用户开始在社交平台上表达情感,社交平台上的数据已经从单一模态演变为多模态形式。随着多模态数据的广泛应用,单模态情感分析方法已经无法有效处理多模态数据并利用其中隐藏的多样性信息。因此,多模态情感分析方法应运而生,并成为新的研究热点。已有的多模态情感分析模型通常采用特征级融合、决策级融合以及混合融合方法对多模态数据进行融合。然而,已有的混合融合方法在进行特征级和决策级融合时,没有同时对三种模态进行融合,不能很好的学习多模态数据之间的交互信息。此外,已有的多模态情感分析模型通常假设多模态情感数据是完整的,而现实中不确定模态缺失的情况经常发生,导致现有的多模态情感分析模型失效。针对上述问题,本文开展了以下研究工作:(1)针对现有的混合融合方法在特征级和决策级融合期间无法捕获所有模态特征的问题,提出了一种基于Bi GRU与混合融合策略的多模态情感分析模型。该模型使用Bi GRU提取单模态特征,通过双模态注意力融合模块对单模态特征进行两两融合。为了在特征级和决策级融合期间捕获所有模态间的交互信息,提出了三模态注意力融合和三模态拼接融合方法,获取两组融合后的三模态特征。随后,对两组三模态特征进行分类,并在决策层对分类结果进行融合,最后进行情感分析。实验结果表明,本文所提出的模型能够充分捕获所有模态之间的交互信息并有效提升模型的性能。(2)针对多模态情感分析中不确定的模态缺失问题,提出了一种面向不确定模态缺失基于模态翻译的多模态情感分析模型。该模型首先使用Transformer编码器提取三种模态特征,并使用Transformer解码器将视觉和音频模态翻译成文本模态;然后,将翻译后的视觉、音频模态和编码后的文本模态融合为缺失的联合特征。接着,对缺失的联合特征进行编码,并使用完整模态训练的预训练模型来监督编码过程,使缺失的联合特征逼近完整的联合特征。同时,使用Transformer捕获多模态联合特征之间的长期依赖关系。最后,Transformer编码器的输出用于最终的情感分类。实验结果表明,提出的方法在不确定模态缺失情景下获得了性能的显著提升。
其他文献
报纸
在经济新常态背景下,推进新型城镇化进程,优化产业结构,促进经济协调发展,是实现经济健康发展和持续增长的必由之路。同时,由于我国正处于工业化中期阶段,城镇化水平较低,产业转型压力大,这就对产业结构演进提出了更高要求。而产业结构又直接影响到经济增长质量,两者之间影响和促进,因此,更加深入地探究新型城镇化与产业结构、经济增长之间的相互关系和联动效应,对于推进新型城镇化进程、优化调整产业结构、实现经济高质
学位
创新作为一种积极的生产性意识,是人们根据现实活动而打造出的前所未有的事物及观念,旨在以更好的方式满足社会需要。党自十八大以来,始终强调创新的重要性,并将“坚持开拓创新”写进了党的百年奋斗历史经验当中。但创新,又作为一项原始性探索活动,其风险与不确定性程度较高,失败乃创新活动的常态。在所有权与控制权相分离的现代公司中,高管作为公司的日常经营管理者对创新活动掌握着话语权,这就使得建立有效的激励机制以提
学位
随着股权分置改革和融资融券制度的确立以及信息披露制度的不断完善,我国资本市场上的股票流动性逐步提升,这为上市公司股东增持和减持提供了便利,使得股东“退出威胁”具有可信性。近年来,学者们的研究表明,非控制大股东除了“积极发声”、“用脚投票”之外,也可以通过“退出威胁”的方式降低信息不对称性,进而实现公司治理。因为控股股东的利益与公司的股票价格密切相关,所以当非控股大股东离开公司时,该行为会向市场和投
学位
报纸
学位
多模态情感分析近年来成为了深度学习领域中一个热门的研究方向,在智慧医疗、智慧教育、智能客服和社交媒体分析等应用中发挥着至关重要的作用。相比于单模态情感分析仅仅依靠单一模态来预测情感,多模态情感分析融合了不同模态的特征,通过不同模态的互补性提升预测准确性。部分现有的多模态情感分析方法只考虑如何整合模态特征,但没有探索模态间的相互作用,这将大大降低模型的性能。此外,视频、音频和文本模态本身就含有丰富的
学位
原子多光子电离过程研究是探索原子量子态结构及其动力学性质的一种有效方法。作为电离的直接产物之一,电子携带了丰富的物理信息,包括其所布居的量子态信息、离子母核结构和电离动力学及其电离后其在激光场作用下的动力学信息。光电子动能分布与角分布分析是研究原子电离过程的重要手段。光电子动能分布研究可以从能量上解析原子受到外场作用下的激发电离过程,而光电子角分布则反映了出射电子在激光场作用后的波包特性并进一步校
学位
在推动绿色发展和创新驱动的大背景下,绿色创新是实现绿色发展的第一动力,还可实现节能减排、获取经济利益和保护环境之间的平衡,企业通过跨国并购实现“走出去”,从而参与全球价值链、提升产业链水平。当前,跨国并购对中国企业绿色创新的作用和影响还没有定论。因此,本文将重点放在了企业跨国并购与绿色创新的相关文献上,对其影响机理进行了深入探讨,结果表明,跨国并购对并购公司的绿色创新起到了推动作用。希望本文的分析
期刊
随着文旅融合与全域旅游助力旅游产业发展,传统观光型景区由于自身局限性,发展受到了极大的挑战。本文以国家5A级景区无锡太湖鼋头渚为例,基于研学视角,运用文献综述、实地考察等方法,对景区优质转型路径进行研究。
期刊