人脸表情识别是人工智能的重要分支,也是保证人机友好交互、计算机智能化的重要手段之一。它具有重要的理论研究意义和商业应用价值,近年来吸引大量的学者和研究机构投入到其研究中。本文对视频人脸表情识别中预处理阶段进行了分析与研究,具体工作如下:(1)针对视频序列中的中性表情帧干扰模型训练和表情识别的问题,本文对动态时间规整算法进行改进,提出一种滑动窗口动态时间规整算法(Sliding Window Dynamic Time Warping,SWDTW)来自动选取视频表情明显序列,并提出了一种结合动态时间规整和卷积神经网络的视频表情识别方法。该方法首先通过人脸检测算法截取表情视频中人脸正面帧,其次用梯度方向直方图特征计算两个序列帧之间的代价矩阵,并在代价矩阵上增加滑动窗口机制,然后根据所有窗口的平均距离最小值来定位表情视频中的全局最优序列,最后利用卷积神经网络对选取的视频帧进行分类。实验结果表明,该方法可以解决人脸表情图像受环境等因素影响较大和传统特征提取过程中存在过多人为干预的问题,有效地提高视频人脸表情分析的自动化程度和识别率。(2)鉴于2D卷积神经网络不能提取时间维度信息,将3D卷积神经网络应用到视频表情序列识别中,并针对样本量较少和类别不均衡问题,提出了一种结合数据增强和3D卷积神经网络的视频人脸表情识别方法。该方法首先通过对表情变化较敏感的眼部区域添加高斯噪声,来扩大表情之间的差异性,然后对数据量较少的表情类别样本进行几何变换,以解决样本不平衡问题。最后采用3D卷积神经网络对扩充后的人脸表情图像序列进行无监督学习和面部表情识别。在MMI和CK+(Extended Cohn-Kanade)表情库上实验结果表明,所采取的数据扩充方法可以有效解决神经网络中的过拟合问题,在增强模型鲁棒性的同时进一步提高视频表情识别效果。