伴随着这几十年来人工智能技术突飞猛进的发展,情感识别得到了越来越多研究者们的关注。计算机只有拥有人类的情感才能真正的实现智能化,而情感识别是其首要考虑的问题。本文提出新的特征描述子,再通过多个视频特征的融合,结合具有判别力的音频特征,显著提高了视音频情感识别的效果。本文主要的研究工作如下:1、针对视频表情识别大多数是基于静态图片的,缺乏时域信息,本文提出新的特征描述子——时空多值韦伯特征提取算法(STMWLD),STMWLD不仅可以提取时空域信息,还可以细化纹理信息。再融合具有互补性的全局特征(CNN、Gist)和局部特征(LBP、STMWLD),经过KECA+DMCCA融合框架不但实现了特征的有效融合,而且显著降低了冗余信息。论证了单一特征往往不能充分描述人脸的面部特征信息,需要将不同的具有互补性的特征进行融合,才能有效提高表情识别率。2、自建自然表情视频库。目前面部表情的识别大多处于实验研究阶段,实际自然场景中的表情不止仅限于标准数据库中的六种表情,并且真实场景中的表情识别易受各种复杂因素的影响。为了更为准确的反应真实复杂自然场景中视频表情识别的效果,本文自制视频表情数据库,采用以上提出的多特征融合方法,在该自建数据库上的情感识别率达到55.45%。3、双模态情感识别。为了更有利于提高情感识别的精度,本文采用视音频特征融合的双模态情感识别方法。利用上述互补性特征作为视频特征,利用最有判别力的25个韵律特征和MFCCs作为音频特征。由于视音频特征之间存在一定的差异性,本文采用MKL-SVM解决该问题。最终实验分别在标准数据库RML和SAVEE上进行,实验结果表明双模态多特征融合的情感识别效果明显好于单模态的,且视音频情感识别率平均分别达到78.82%和87.64%,更进一步的提高了视频情感识别率。