在人类的社交活动以及日常交流过程中,语音、姿态和面部表情被认为是传达人类情感的主要渠道。近年来,人类情感识别领域的相关研究取得了长足的发展与进步,为人工智能在今后的普及奠定了坚实的理论基础。起初人们对人类情感识别的研究还仅仅停留在单模态的情感识别上,然而,近几年来,随着科学技术尤其是人工智能技术的不断发展,越来越多的研究人员将目光放在了基于多模态相互融合的情感识别研究上来。文中提出了一种基于语音、表情与姿态的三模态情感自动识别方法。本文的研究工作主要有:(1)各模态情感特征的提取。首先,对于语音信号,提取得到它的韵律特征和MFCC特征等情感特征;对于表情信号,利用Gabor小波变换提取得到它的Gabor特征,并利用主成分分析方法对其进行特征降维以去除冗余信息,同时使其更易于处理;对于姿态信号,则利用EyesWeb平台提取得到描述姿态情感特征的各种参数来组成姿态情感特征。(2)情感特征的融合。对提取得到的各模态的情感特征进行归一化,并利用判别多重典型相关分析(Discriminative Multiple Canonical Correlation Analysis,DMCCA)将三个模态的情感特征融合起来,接着利用特征选择算法ReliefF对融合后的情感特征进行特征选择以进一步去除那些对类别判定不利的特征。经过融合后的特征不仅更便于处理而且综合利用了三个模态的情感信息,更加利于情感类别的准确判定。(3)三模态情感识别。在得到融合后的情感特征后,利用训练样本的情感特征对基于支持向量机的分类器进行训练得到一个预测模型,并利用训练得到的预测模型对测试样本进行情感类别标签的判定。仿真实验表明,在利用多模态情感信息的情况下有着较单模态更好的识别率,达到了50.43%,证明了DMCCA算法的有效性。