多模态情感分析是近年来情感分析领域中的热点方向之一,其基于文本与音视频等模态间存在着的信息互补性,通过模态间的融合来改进情感分析性能。尽管目前已经开展了很多工作,但在融合前各个模态的合适特征表示方面还研究的不够,影响了情感分析性能的进一步提高。具体表现在:当前通过简单的网络提取出的音视频特征,其语义层级与文本相比较低,导致相应的情感分析方法并没有取得理想的性能。以文本特征的语义层级为基准,通过提升音视频特征表示的层级,使其与文本特征在语义上能够对齐,是改进情感分析性能的一种有效途径方法。本文针对这一问题展开研究,分别尝试了基于音视频与文本语义表示对齐以及语义层级对齐的方法。其主要研究内容如下:1、从语义表示对齐的角度出发,对音视频模态和文本模态在语义表示上的差异进行了分析,并指出目前常用的一维卷积对齐方法无法彻底解决这一问题。为此,提出了基于分组局部向量聚合网络的模态间语义表示对齐方法。考虑到多模态情感分析任务对噪声及冗余信息比较敏感,并进而会影响性能。为此,对分组局部向量聚合网络方法进行改进,增加了用来表示噪声和冗余信息的聚类中心,并进而提出了去噪分组局部向量聚合网络的相应方法,以去除噪声或冗余信息带来的影响。2、研究如何提升音视频模态特征语义层级从而实现更准确的语义对齐。为提取音视频模态高层语义特征,首先引入Conformer网络用于音频特征提取,ViViT网络用于视频特征提取。由于Conformer网络和ViViT网络的位置编码均无法准确表示时序关系,进而影响了性能。为此,提出了基于相对位置编码Conformer的音频特征提取方法,以及基于时空位置编码ViViT的视频特征提取方法。最后通过分析不同模态特征在语义空间中的位置关系,提出了基于两段式语义空间映射的多模态融合方法,先将音视频高层语义特征结合,之后在与文本特征结合,进一步改进了多模态情感分析的性能。