无论是语言的还是非语言形式的沟通,在人们的日常生活与工作中都是非常重要的,而面部表情则是非语言沟通中最有效的沟通方式,表情可以为我们提供情感状态、心态、意图等线索。关于面部表情识别的应用也正在渗透至各个领域,如安全驾驶、商品销售、临床医学等等。本文对面部表情识别相关技术进行研究,主要工作及贡献如下:(1)基于WPCANet及分块加权直方图的静态表情识别。.将分块WPCA的非监督式滤波器组的学习与深度卷积神经网络的多阶段特征提取结构相结合,构建WPCANet网络模型,实现关于静态人脸表情特征的非监督式多阶段提取;进一步基于训练样本的表情类别信息,生成体现类鉴别特性的权重图像,在此基础上实现关于人脸表情样本特征的加权分块直方图描述;最终结合线性C-SVM分类模型,完成基于静态人脸图像的七种基本表情类型的识别。基于JAFFE静态表情库的实验验证了算法的有效性。(2)基于多视觉描述子及音频特征的动态表情识别。研究非约束条件下人脸动态表情识别,提出了一种基于多视觉描述子及音频特征融合策略的动态表情识别算法。借助多视觉描述子的空时局部特征描述实现动态表情特征的提取;而视频、音频特征的融合策略改善了表情识别性能。基于协方差矩阵及时间轴分段的动态规整,有效地解决了具有不同时长的动态表情序列的样本描述。为进一步改善表情识别模型的泛化性能,本文引入了基于多个体识别模型加权投票的集成识别模型。针对投票过程中的权值学习,提出了基于随机重采样的投票权重学习,以及基于个体分类模型相对优势的投票权重学习方法。集成决策进一步改善了表情识别性能。基于AFEW5.0的动态表情库实验验证了算法的有效性。