基于跨模态分层注意力机制的多模态情感分析研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:cdna3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多模态情感分析近年来成为了深度学习领域中一个热门的研究方向,在智慧医疗、智慧教育、智能客服和社交媒体分析等应用中发挥着至关重要的作用。相比于单模态情感分析仅仅依靠单一模态来预测情感,多模态情感分析融合了不同模态的特征,通过不同模态的互补性提升预测准确性。部分现有的多模态情感分析方法只考虑如何整合模态特征,但没有探索模态间的相互作用,这将大大降低模型的性能。此外,视频、音频和文本模态本身就含有丰富的信息,现有研究方法大多忽略了利用丰富的单模态信息,导致了不理想的预测结果。为了解决这些问题,我们设计了一种全新的多模态情感分析模型,它可以利用注意力机制学习模态内和模态间的动态,以进行模态交互,改进融合策略。具体而言:(1)我们引入了一个跨模态分层注意力模块来建模模态间动态,通过该模块中的双模态交互层和三模态交互层来融合多模态特征。(2)我们设计了一个模态重建模块,该模块具有三个模态重建子模块来建模模态内部动态。(3)为了实现更可靠的预测,我们提出了一个决策级融合网络,来融合从上述两个模块独立生成的推理结果,用于情感分析。在CMU-MOSI、CMU-MOSEI和CH-SIMS上的综合实验结果和比较证明了我们的模型在公共数据集上的有效性。我们提出的模型明显提高了多模态情感分析的分类性能,特别是在CMU-MOSI数据集上,提出的模型的准确率达到了87.61%。广泛的实验结果和对公开可用的基线数据集的比较表明,所提出的模型显示出与最先进的方法相比具有竞争力的性能。基于实验结果,我们认为模型在多模态情感分析领域仍有研究潜力。
其他文献
财务会计报告是企业管理者与其他信息使用者沟通的桥梁,其中盈余信息作为反映企业会计期间经营成果的重要财务指标,受到各利益相关者的重点关注。但是普遍存在的盈余管理行为会造成盈余信息的失真,降低投资者对管理层披露信息的信任程度,阻碍社会资源的有效配置,不利于社会经济的健康发展。因此,企业盈余管理行为一直是会计研究关注的重点。企业可以通过操纵应计项目和操纵真实活动来进行盈余管理,但是会计准则规范程度的提升
学位
<正>民事检察类案监督,是指对基本事实、争议焦点、法律适用问题等方面具有相似性的某类民事案件进行检察监督。当前,检察机关民事检察类案监督工作仍存在缺乏具体工作规范指引、监督线索来源匮乏、办案人员精准把握研判能力不足、
期刊
随着深度学习的不断发展,计算机视觉以及自然语言处理领域上的研究取得了巨大的进步,文本生成图像作为上述两个领域间的跨模态任务同样受到研究人员的青睐。文本生成图像是依据描述性文本生成其对应图像的任务,该任务的核心是确保生成图像真实自然并且与文本具有语义一致性,其中语义一致性尤为关键。生成对抗网络自提出以来在各个生成研究上得到应用,在文本生成图像研究上也同样不例外。目前该研究虽然通过使用生成对抗网络取得
学位
白血病(Leukemia)是预后较差、病死率极高的周身性恶性血液系统癌症。其中,急性髓系白血病(Acute myeloid leukemia,AML)是最常见的骨髓系白血病类型。大多数AML患者可以通过靶向治疗和免疫治疗来缓解症状并延长生存,然而,AML患者中难治性病例较多且治疗后复发率很高,患者的预后仍然不甚理想。近期,研究者们发现生物体内源性的无机元素在生命和疾病进程中扮演至关重要的角色,而外
学位
报纸
在经济新常态背景下,推进新型城镇化进程,优化产业结构,促进经济协调发展,是实现经济健康发展和持续增长的必由之路。同时,由于我国正处于工业化中期阶段,城镇化水平较低,产业转型压力大,这就对产业结构演进提出了更高要求。而产业结构又直接影响到经济增长质量,两者之间影响和促进,因此,更加深入地探究新型城镇化与产业结构、经济增长之间的相互关系和联动效应,对于推进新型城镇化进程、优化调整产业结构、实现经济高质
学位
创新作为一种积极的生产性意识,是人们根据现实活动而打造出的前所未有的事物及观念,旨在以更好的方式满足社会需要。党自十八大以来,始终强调创新的重要性,并将“坚持开拓创新”写进了党的百年奋斗历史经验当中。但创新,又作为一项原始性探索活动,其风险与不确定性程度较高,失败乃创新活动的常态。在所有权与控制权相分离的现代公司中,高管作为公司的日常经营管理者对创新活动掌握着话语权,这就使得建立有效的激励机制以提
学位
随着股权分置改革和融资融券制度的确立以及信息披露制度的不断完善,我国资本市场上的股票流动性逐步提升,这为上市公司股东增持和减持提供了便利,使得股东“退出威胁”具有可信性。近年来,学者们的研究表明,非控制大股东除了“积极发声”、“用脚投票”之外,也可以通过“退出威胁”的方式降低信息不对称性,进而实现公司治理。因为控股股东的利益与公司的股票价格密切相关,所以当非控股大股东离开公司时,该行为会向市场和投
学位
报纸
学位