论文部分内容阅读
传统基于深度学习的人脸特征点定位方法利用深度神经网络模型,由浅入深的逐层提取出反映人脸语义信息的非线性特征,通过对这些特征进行回归训练,最终生成能够用于检测人脸特征点的神经网络模型,实现人脸特征点的定位。与传统方法(如主动形状模型、主动外观模型)相比,基于深度学习的人脸特征点定位方法在检测精度和速度上均有不同程度的提高,但仍然存在以下几个问题。首先,传统深度神经网络针对包含不同人脸姿态的数据集时,仅通过初始化的人脸对齐进行预处理,而没有考虑特征提取时脸部姿态对应特征点分布的规律性。其次,传统深度神经网络模型没有考虑人脸特征点集中外部轮廓点和内部器官点(如眼睛、鼻子、嘴)因位置分布不同导致的特征空间差异,致使不同特征点检测精度及难度不一致。人脸图像具有丰富的语义信息,人脸特征点定位不是一个孤立的任务,而是多种反映人脸属性信息的特征综合作用的结果。针对上述问题,本文提出基于灰度-边缘-梯度(Gray-Edge-HOG,GEH)特征融合的卷积神经网络以及基于面部姿态辅助任务的卷积神经网络。具体研究工作概括如下:(1)提出基于灰度-边缘-梯度(GEH)特征融合的卷积神经网络的人脸特征点定位方法。该方法首先提取人脸图像的边缘Sobel、梯度直方图HOG和灰度三类特征以突出刻画人脸形状,再将上述三种特征分别映射到RGB三通道颜色空间,融合成GEH特征;然后通过GEH特征进行卷积神经网络训练,通过网络的线性回归,实现对人脸内外形状信息的同时检测定位。实验结果表明,该模型对人脸外部轮廓点检测精度比传统卷积神经网络的检测精度有显著提高。(2)提出基于面部姿态检测为辅助任务的卷积神经网络的人脸特征点定位方法。该模型考虑到人脸姿态信息对检测效果的影响,在对人脸特征点形状进行学习的同时联合学习人脸三维姿态信息,通过形状检测任务与姿态估计任务协同优化,以提高人脸特征点形状的定位精度。实验结果表明,与传统的卷积神经网络模型相比,该模型对具有大幅度姿态偏转的人脸数据集的特征点定位精度有显著提高。