情感作为人类表达和交流的重要部分,要使计算机理解和识别人类情感具有重要的研究意义和应用价值。情感识别研究主要分为单模态情感识别和多模态情感识别两种,按照情感识别类型又可分为离散情感识别和连续情感识别。离散情感识别将情感类别作为识别目标,忽略了情感复杂性和情感粒度,而连续情感识别通过建立情感空间将情感强度值映射为具体的情感属性,有效克服了离散情感识别的缺点,使得情感识别更精确。又由于单模态情感识别存在模态局限性,无法充分利用各模态之间的互补性,故本文选择利用多模态情感特征进行连续情感识别。本文主要研究内容如下。1.本文针对人类情感主要通过语音和视频两种媒介进行表达,确定选取语音和视频进行多模态情感识别研究,同时结合多模态情感识别中常用融合策略方法的优缺点,提出了一种新的混合融合预测方法,首先分别对语音和视频单模态进行特征级融合回归预测,然后对预测序列进行多模态决策级融合回归预测,该混合融合预测方法不仅克服了单模态预测的局限性,更能很好的利用各模态之间的互补性,有效提升整体情感预测的准确性。2.本文针对语音和视频情感识别常用模型所存在的预测精度差、无法对高维特征进行预测等问题,提出了利用深度Bi LSTM模型进行单模态连续情感回归预测,充分利用循环神经网络优异的表征学习能力,同时也有效利用语音和视频单模态情感的连续性和上下文相关性,通过实验数据表明,该网络模型在单模态情感回归预测中具有较高的准确度。3.本文针对决策级融合策略方法存在预测偏差大和稳定性较差的问题,提出了一种基于注意力机制的局部绝对误差极端梯度提升算法模型——Attention-LAEXGBoost,作为多模态情感回归预测的决策级融合策略方法,充分利用了局部注意力机制聚焦局部性的能力和XGBoost模型优异的泛化性能,通过实验数据表明,该模型具有较高的准确性和鲁棒性,在Arousal和Valence情感维度空间CCC指标分别达到了93.42%和93.78%。4.本文综合连续情感识别研究的技术要点,结合本文所提出的单模态情感回归预测模型、多模态融合策略方法以及Attention-LAE-XGBoost融合回归预测模型,设计了一款基于语音和视频的情感识别系统,将本文所提出的模型和方法嵌入到系统中,通过采集实时视频和外部导入视频进行测试,验证本文所提出的情感识别方法的有效性和实用性。