论文部分内容阅读
人脸作为直接、可靠的生物特征,在信息安全、社会公共安全、虚拟现实和增强现实等领域具有广泛的应用。人脸检测与特征点定位作为人脸图像分析与处理的关键步骤,其检测和定位的准确性将极大地影响人脸识别、表情分析、头部姿态估计、凝视方向分析、疲劳度检测、三维重建与动画合成等各类任务的性能。本文借鉴近年来深度学习在计算机视觉领域取得的突破性进展,重点围绕人脸应用中的人脸检测、特征点定位开展研究和算法设计,具有重要的理论意义和实用价值。作为人脸分析处理任务的首要环节,以实时性、减少模型参数量为主要出发点,本文设计了基于单阶段目标检测器的人脸检测模块。通过分支模块、多检测分支等方法进行多尺度特征提取,在提高单阶段人脸检测器精度的同时,实现了检测速度与精度间的良好平衡。同时本文通过锚点数量扩充以及特征金字塔方法,一方面增加了小尺寸的候选框数量,另一方面增强了前层检测分支所提取到的特征,有效提高了小人脸检测性能。最后在通用人脸检测数据集上进行了定量与定性的性能评估,并与多种人脸检测方法进行了比较。为了充分利用人脸特征点间的固有空间关系,提高大姿态下的人脸特征点定位精度,本文基于沙漏网络设计了人脸特征点定位模块。将特征点坐标回归转化成提取二维特征点热图,通过多次上采样、下采样获取了多尺度特征,有效提高了特征点定位精度。针对二维、三维人脸特征点定义不一致的问题,分别使用二维、三维特征点标签进行了模型训练,改善了二维以及三维人脸特征点的定位性能。本文在多个通用数据集上对算法进行了性能评估与比较。测试结果表明,本文所设计的人脸检测模块在AFW、PASCAL Faces、FDDB数据集上的检测精度分别为0.987、0.969以及0.963,在单块GTX 1080Ti GPU上每张图像的平均检测时间为12毫秒。本文的人脸特征点定位模块(二维)在300W数据集上的瞳孔间距离归一化平均误差为 5.02,其中 300W-Common、300W-Challenging 子集上 NME 分别为 4.67、7.29;在AFLW2000-3D数据集上,按头部姿态进行划分,本文人脸特征点定位模块(三维)的边界框归一化平均误差分别为2.56(0到30度)、3.31(30到60度)、4.42(60到90度),整体平均NME为3.46。与现有算法相比,本文的人脸检测模块在提高检测速度、降低模型参数量的同时,实现了较高的检测精度;另外,本文的人脸特征点定位模块可以有效提高大姿态下的特征点定位精度,可以同时提取人脸轮廓与三维姿态信息。