传统的人机交互过程一般通过鼠标、键盘等方式进行,这种只基于逻辑的方式无法使机器理解和适应人的情感。为计算机加入情感识别功能,可使其像人一样去理解各种情感特征并作出相应的反馈,使得人机交互过程更加友好、自然,以达到更好的用户体验,因此,情感识别近年来备受研究者的关注。情感是人际通信交流的重要手段,在交流互动的过程中获取对方的情感信息并进行分析,有助于更好地理解对方,可以使沟通更顺利、有效地进行。人在交流过程中,其语音、表情和姿势都是沟通内容的一部分,都包含着情感信息,研究者们对人脸表情识别、语音情感识别等单模态情感识别进行了广泛研究。单模态情感识别采用的情感特征信息比较单一,在情感识别中有一定的局限性,本文在分析和总结现有理论和研究的基础上,提出了融合人脸表情和语音的双模态情感识别的研究。本文的主要工作包括以下三个方面：(1)基于图像的人脸表情识别本文同时采用彩色和深度人脸表情图像来获得更多的人脸表情信息,并根据面部点的位置关系进行粗略的面部姿势的评估。对人脸表情图像进行预处理,并对彩色图像用Gabor小波进行特征提取,对深度图像用深度值统计分布的方法进行特征提取,将两者特征联合在一起作为识别时用的特征并用PCA方法对特征进行降维。最后,使用SVM实现表情训练和分类。实验结果验证本文提出的方法在人脸表情识别中取得了较好的效果。(2)基于隐马尔可夫模型的语音情感识别本文对语音信号进行预处理,包括预加重、分帧、和加窗处理,然后对其提取特征,在声学参数中选取语速、基频、能量、和MFCC、共振峰,并将这些参数的联合特征作于语音的情感特征。最后,使用HMM模型进行训练情感识别。实验表明,本文提出的方法在语音情感识别中取得了较好的结果。(3)融合人脸表情和语音的双模态情感识别本文采用决策层融合的方法,将人脸表情识别和语音情感识别进行融合,分别根据求和规则和求积规则进行双模态情感识别实验,结果表明本文提出的方法明显地提高了识别性能。