表情是人类传递情感的重要途径,通过表情能够推断人的情感、意图、性格等信息;因此人脸表情识别在医疗、教育、驾驶、审讯等领域有着广泛的应用,针对人脸表情识别的研究具备重要的现实意义,研究人员也对表情识别展开了大量的研究。表情识别分为静态图像的表情识别和视频的表情识别,本文针对视频中的人脸表情识别展开研究。视频中的人脸表情是一个动态变化过程,在变化过程中人脸的特征点蕴含着丰富的信息,针对这一点,本文提出了特征点动态变化图的概念,通过特征点动态变化图能够有效地描述表情变化的特点;同时,在特征点动态变化图的基础上,本文结合深度学习自动提取特征的优势,构造了更全面描述表情变化的特征;此外,本文将方差信息添加到损失函数中,设计了一种新的损失函数,用于解决由于不同表情存在相似性而被误判的问题。因此,本文的主要工作内容如下:(1)提出了构建特征点动态变化图的方法。特征点动态变化图能够直观地反映出在表情变化过程中,人脸的各个区域在各个时刻的变化情况,具备较好的可解释性与辨识性。(2)提出了结合特征点动态变化图与神经网络的动态表情识别算法。本文设计的算法能够提取更全面和丰富的特征来刻画表情的变化过程:特征点动态变化图提取了人脸的轮廓信息,卷积神经网络提取了人脸的纹理信息,循环神经网络提取了人脸序列的时序信息,且通过特征点动态变化图中蕴含的表情强度变化信息,能够为神经网络提取的特征进行有意义的加权,本文综合这些方法各自的优势,显著提升了识别准确率。(3)设计了一种新的损失函数。针对相似表情的误判问题,本文将方差信息融入损失函数中,使得相似的表情在特征空间中的距离越远,更容易被区分,从而降低了相似表情的误判率,提升了总体识别准确率。本文设计的算法在CK+、MMI和Oulu-CASIA数据集上进行了实验。实验结果证明了特征点动态变化图能够有效地描述表情的变化过程,添加了方差信息的损失函数能够缓解相似表情的误判问题,而设计的总体算法能够有效提升识别准确率。