随着计算机技术的飞速发展,作为情感计算的一个重要方向,人脸表情识别逐渐成为研究的热点课题。近几年,深度学习的研究取得了突破性的进展,为其他研究领域带来了创新和突破的机遇。本文针对人脸表情识别所涉及的特征点定位技术进行了深入研究。基于深度卷积神经网络的非线性映射能力,实现和对比了三种基于不同网络结构的面部关键点定位算法,并将其与传统面部关键点定位算法进行了对比。考虑到表情关键点在人脸表情运动单元内的共生性,提出了一种新的基于多任务深度学习的鲁棒表情共生点检测及强度估计算法。论文的主要内容包括以下三个方面:(1)为了与基于深度学习的特征点定位算法对比,本文研究并实现了传统主动形状模型(ASM)和鲁棒级联形状回归(RCPR)算法。ASM算法是一种基于统计学的可变形模型,该方法通过训练建立可形变的模型,利用仿射变换参数的更新对局部纹理模型的特征点进行匹配,但该算法不具备对姿态和遮挡变化的鲁棒性。鲁棒级联形状回归(RCPR)算法是在级联形状回归(CPR)算法基础上的改进算法,该方法使用回归模型,并引入人脸形状索引特征和遮挡检测,算法具有针对面部形变和遮挡的鲁棒性。(2)论文采用卷积神经网络(CNN)结构进行特征学习,研究并对比实现了三种具有鲁棒性的面部关键点定位算法,分别是级联深度卷积神经网络(DCNN)算法,改进的由粗到精的级联深度卷积神经网络(CFCNN)算法以及基于多任务深度学习(TCDCN)算法。DCNN算法采用三级卷积神经网络级联的结构,利用无监督学习对每一级网络进行逐级训练,后一级在前一级网络定位的基础上微调,该算法可以检测出5个人脸关键点。CFCNN算法可以定位68个面部关键点,采用相互独立的级联网络结构分别预测51个内点和17个轮廓点,该算法定位精度较高,但对姿态及遮挡的鲁棒性弱。TCDCN算法将多任务学习与深度学习相结合,采用非级联的网络结构,把面部特征点定位作为主要任务,头部姿态检测作为辅助任务,对两者采用深度卷积神经网络联合学习,该算法提高了对姿态的鲁棒性,可对68个面部关键点实现更鲁棒、更快的检测。通过对AVEC 2012微表情库和自建数据集的实验结果的分析以及LFPW人脸库统计学结果的对比得出,在参与对比分析的五种典型算法中,TCDCN算法的面部关键点定位效果较好,其所检测得到的面部关键点可作为用于描述表情变化的候选点集。(3)考虑到人脸表情运动单元(AU)内部面部关键点的共生性,本文提出了一种新的基于多任务深度学习的鲁棒表情共生点检测及强度估计算法。AU是编码人类表情变化的基本单元,其内部的面部关键点是共生的,且其强度是表情所对应的心理指标(激活度、正负、期望度、强度)的重要描述子。因此,本文所提算法首先采用TCDCN准确定位出面部锚点,以此作为描述表情变化的候选点集,然后同时提取面部的几何特征和表观特征形成特征描述子,以AU区域内面部锚点的共生性作为约束,利用支持向量机和支持向量回归对其进行分类和回归,其中的分类过程即为鲁棒表情共生点的检测过程,而回归分析过程则可估计出鲁棒表情共生点的强度。SEMAINE和DISFA表情库上的实验结果表明,所提算法可以较好的检测和定位鲁棒表情共生点,并对其强度进行估计。