人脸表情、语音和身体姿态是人类最重要的三种情感表达方式，通过研究这三种情感表达方式中的一种或几种，可以有效分析和识别人类的内心情感状态。近年来，人脸表情识别、语音情感识别、身体姿态情感识别、基于人脸表情和身体姿态的双模态情感识别、基于人脸表情和语音的双模态情感识别以及其他多模态情感识别已经成为计算机视觉、情感计算、模式识别和社会信号处理等领域的主要研究内容，受到了国内外研究人员的大量关注。到目前为止，单模态情感识别和多模态情感识别都取得了较多的研究成果，在很大程度上促进了情感分析和识别技术在人类行为分析、公共安全以及早期儿童教育等领域的广泛应用。本论文主要研究了双模态情感识别中的特征提取、特征降维和特征融合等关键问题，并讨论了情感识别中的特征选择问题以及噪声和遮挡问题。本研究主要内容包括：　　⑴研究了情感识别中的特征选择。针对局部保持投影(LPP)方法不能进行情感特征选择的问题，提出了一种基于回归的稀疏局部保持投影(SLPP)方法，分别用于语音情感识别和人脸表情识别。SLPP方法是在原始LPP方法的最小二乘回归式子上增加LASSO正则项，来对语音情感特征和人脸表情特征进行特征降维和特征选择。SLPP方法不仅可以刻画情感特征的内在流形结构，还可以去除无用的情感特征，从而提升了情感识别的实验效果。SLPP方法在JAFFE人脸表情库、POFA人脸表情库、Berlin语音情感库、eNTERFACE05库和FAU Aibo情感库上都取得了较好的实验效果，其平均识别率高于LPP方法，说明了特征选择在人脸表情识别和语音情感识别中的有效性。　　⑵研究了情感识别中的鲁棒特征降维。针对传统LPP方法应用于情感识别时缺乏鲁棒性的问题，提出了基于回归的鲁棒局部保持投影(RRLPP)方法，来有效处理情感识别中的噪声和遮挡问题。类似于鲁棒主成分分析(RPCA)方法、鲁棒回归(RR)方法和低秩约束线性判别分析(LRLDA)方法，RRLPP方法的基本思想也是通过同时引入情感样本矩阵的低秩项和稀疏项来克服LPP方法中存在的不足，进而提高情感识别的鲁棒性。在Multi-PIE人脸表情库上的测试结果表明，RRLPP方法可以有效去除人脸表情图像中的噪声和遮挡，同时也能取得比非鲁棒方法更高的人脸表情识别率。　　⑶研究了基于视频的人脸表情和身体姿态双模态情感识别。提出了一种基于多类典型相关分析(MCCA)的双模态情感识别方法。该方法首先分别提取两种模态的Harris空时特征以及情感语义特征，然后采用MCCA方法建立人脸表情Harris空时特征、身体姿态Harris空时特征和情感语义特征的最小二乘回归模型，进而有效提取两种模态的判别信息并实现特征融合。为了进一步提高双模态情感识别的准确性，采用多类核典型相关分析(MKCCA)融合方法替换MCCA融合方法，提出了一种基于MKCCA的双模态情感识别方法。相比于MCCA融合方法，MKCCA是一种非线性融合方法。在FABO双模态情感数据库上的实验结果显示，MCCA融合方法和MKCCA（高斯核）融合方法都能有效地提高人脸表情和身体姿态双模态情感识别效果。　　⑷研究了基于特征层融合的人脸表情和语音双模态情感识别。由于提取的人脸表情特征和语音情感特征往往存在噪声或者冗余，因此会降低双模态情感识别率。针对这个问题，提出了一种基于稀疏核减秩回归(SKRRR)的人脸表情和语音双模态情感识别方法。通过增加两个投影方向的LASSO正则项，SKRRR融合方法可以比KRRR融合方法更加有效地提取人脸表情模态和语音模态的相关情感信息，进而在一定程度上提升了双模态融合效果。在eNTERFACE05数据库上，SKRRR融合方法采用稀疏表示分类器和支持向量机分类器时的最高情感识别率分别能达到87.02％和87.46％，明显提升了双模态情感识别性能。