随着智能机器和人工智能的发展,计算机情感分析已越来越重要。其中人脸表情识别作为情感信息交流的感知手段在教学认知状态分析、患者情绪状态分析、公共区域危险预警、盲人视觉感知等领域有广泛应用潜力。因此,作为智能交互、情感计算的关键技术,近年来人脸表情识别成为人工智能研究重点。鉴于人脸面部表情具有高维、非刚性、多尺度变化、易受光照和角度影响等特点,通过计算机获取面部表情图像或视频,分析面部形态和变化来准确获得对象的情绪变化相当困难。当前国内外研究者多从特征提取和分类器设计方面进行探索与研究,并提出基于全局特征、局部特征、梯度特征、模板特征等方法。迄今为止,将这些方法与技术应用于各类复杂的自然场景时仍然面临诸多问题:1.现有浅层特征提取模型有效解决了图像维度灾难问题,但同时导致有效鉴别特征信息的大量丢失,从而制约识别精度;以多特征融合、多尺度提取、多分类器结合等方式提升算法精度存在局限性,算法提升效果有限。2.应用场景复杂,人脸图像易受角度、姿态、光照、遮挡、多尺度等因素影响,引起算法识别结果波动很大,鲁棒性不高;场景的多样性和样本的大数据特性,要求建立复杂空间的识别模型,后验数据信息更新知识才能提升算法鲁棒性。3.现有的静态图像算法应用到自然场景中,缺乏对动态序列信息的有效利用,导致算法鲁棒性差;动态表情识别模型较少,且算法复杂,假设条件较多,应用效果有待改善。因此,本文以提高人脸表情识别的准确性和鲁棒性为目标,开展基于深度学习方法的人脸表情识别算法研究,探索视觉特征的自主学习模式,为构建更为有效的、端到端的视觉特征服务提供理论分析和技术支撑。本文主要创新性研究内容如下:1.提出一种基于变分推理网络的人脸表情识别方法。针对浅层模型存在有效鉴别特征信息丢失,提升准确性难度较大的问题,设计一种基于变分推理网络识别方法。该方法融合自编码网络分层特征学习和大数据样本非线性拟合的优点,利用变分推理算法快速生成表情图像的类别分布模型。通过输入实测表情数据训练变分识别网络,生成网络的隐变量的均值和方差;然后根据隐变量进行网络微调,形成稳定的概率生成识别网络。实验结果表明,该方法生成的概率特征模型能有效进行层级特征学习,形成复杂的非线性分类网络,相对于自编码网络、去噪自编码网络速度更快,准确性更高。2.提出一种基于深度置信网络的人脸表情识别方法。针对浅层模型存在有效鉴别特征信息丢失,提升准确性难度较大的问题,设计一种基于深度置信网络识别方法。该方法结合人脸区域分布特点,采用RBM进行数据建模与推理,融合局部和全局特征进行表情判别。首先,通过深层RBM形成分层特征自动学习结构,实现分区域面部特征的抽象提取;然后,根据后验样本获得贡献度,结合区域表情和整体表情形成混合生成模型,综合吸收局部特征和全局特征的影响。实验结果表明,该方法契合人脸表情分布特点,通过深度模型融合局部特征和全局特征,提高了识别算法的准确性。3.提出一种基于深度残差网络的人脸表情识别方法。针对大型卷积神经网络伴随网络深度加大存在的稳定性和收敛性问题,设计一种深度残差网络的识别方法。该方法结合残差单元的网络构建能力和卷积单元的图像特征学习能力,利用数据样本训练深层网络,形成复杂判别模型。输入分割图像到并行卷积网络,提取初级特征后进行聚合操作;采用残差单元叠加深层网络,用于进行聚合特征的深度学习。为方便融合多尺度特征,每个残差单元采用多通道方法进行残差学习;最后,对深度残差网络输出的特征进行分类学习。实验结果表明,采用残差学习构建深层识别网络,具有较高的识别准确性和鲁棒性。4.提出一种基于LSTM+RNN的动态人脸表情识别方法。针对现有算法对表情图像序列信息缺乏有效利用,算法应用鲁棒性差的问题,设计一种采用LSTM+RNN的动态表情识别方法。该方法采用RNN进行图像序列的循环采集,LSTM学习和记忆序列关联信息,结合单图像信息和序列关联信息进行表情判别。利用小尺度图像数据快速定位图像中人脸的位置,再通过卷积神经网络实现视觉特征的提取;利用RNN建立整体的循环网络结构,单个LSTM单元学习图像序列数据关联特性。实验结果表明,该方法能够获取表情图像序列的相关性,结合当前图像信息进行类别判别,准确性和鲁棒性都有所增加。本文研究表明,利用深度模型进行端到端的表情识别探索,从表情图像数据进行视觉特征有效的、分层的、自动的学习,较好的获得了视觉区分特征和描述了图像的非线性特征,避免人工特征设计的经验需求和缺陷,是视觉特征应用研究的重要方向。