随着人工智能的发展,在机器视觉领域中的人脸表情识别受到了越来越多的关注,广泛应用于汽车驾驶、医疗、监控、远程教育及人机交互等领域。由于人脸表情是一个连续变化的过程,基于动态图像序列的表情包含空间信息和时域信息,能够获得比静态图像更好的识别率,因而成为表情识别研究的热点问题。由于现有方法仅提取浅层、深层或两者简单融合的特征,难以同时得到局部和全局的表情信息,因而导致表情识别不能满足实际需求。针对上述问题,本文对动态人脸表情特征提取方法进行研究,提出一种多特征深度融合方法来提高表情识别的准确率。本文的创新点和主要工作包括:提出一种三角几何语义特征方法,用于提取浅层局部特征。先利用峰值帧检测方法抽取输入序列的峰值帧,再利用特征点标定表情三角形,提取三角几何特征,对三角几何特征进行语义描述,构建语义特征描述集合,然后再制定特征强度等级判别规则;最后分析三角几何特征,获取最优三角形组合,进行特征强度等级判定后得到三角几何语义特征,该三角几何语义特征在突出各表情差异的同时有效降低了时间复杂度。提出了一种多特征深度融合的动态表情识别方法,用于提取识别表情的融合特征。对动态图像序列采用时间插帧模型进行帧数预处理,获得帧数相同的图像序列;然后利用3D-Res Net网络提取图像序列的全局深度特征,将得到的三角几何语义特征与深度特征分别进行2层2D卷积运算后,通过双通道并联进行特征融合;最后使用卷积神经网络(Convolutional Neural Networks,CNN)对融合特征进行卷积,学习全局特征与局部特征的关系,得到更具判别力的特征,并将其输入Softmax分类器进行动态表情识别。本文在CK+和MMI表情数据库上进行了实验验证,与主流的动态表情识别方法进行对比,验证了本文方法的有效性。