人脸关键点定位,又称为人脸对齐,该任务旨在预测位于人脸中一些具有重要语义位置的离散点的坐标。这些点往往位于人脸图像发生剧烈变化的区域,如眉毛、眼睛、鼻子、嘴巴以及轮廓等。它是很多人脸分析任务中的一个重要步骤,如人脸动画、人脸识别、人脸表情分析、3D人脸重建、年龄预测等,因此具有非常广阔的商业价值和深远的学术价值。但是随着该项技术在日常应用中的不断地普及,其应用场景也变得更加多样和复杂,这给该项技术带来许多的挑战。其中,遮挡问题是准确定位人脸关键点的主要障碍。许多现有的方法在正常的人脸图像上表现良好。但是,如果人脸受到遮挡时,其性能会严重下降。本文以遮挡的人脸为研究对象,深入分析归纳现有的方法不够鲁棒的原因,提出了两个基于深度学习的人脸关键点定位算法。主要研究工作和创新点如下:1.提出一个多分支网络结合雅可比深度回归级联框架。该框架旨在缓解模型训练过程中遮挡导致人脸不同部位之间误差不均衡问题所带来的不利影响,提高人脸关键点定位的精度。框架首先通过一个采用了多分支机制的卷积神经网络缓解误差不均衡问题,获取一个非常可靠的初始位置。随后,为了进一步提高精度,该框架级联了多个回归器,这些回归器能够利用局部纹理信息去有效地捕捉人脸局部的非线性变化,预测出一系列的形状增量,迭代地对初始位置进行微调。最后,整个级联框架通过雅可比深度回归优化策略进行端到端地学习训练。该策略能够将最后一个回归器的误差反向传播至前面所有的回归器,实现全局的优化,以增强所有级联回归器之间的联系。实验表明,该算法对遮挡有很好的鲁棒性,在多个数据集上取得了比现有的方法更高的定位精度。2.提出了一个遮挡自适应的深度网络。该网络旨在过滤人脸图像被遮挡的区域,抑制遮挡对模型的影响,提高人脸关键点定位精度。该遮挡自适应深度网络主要由三个模块组成:几何感知模块、遮挡过滤模块和低秩学习模块。首先为了建模遮挡,遮挡过滤模块基于高层次特征推断出遮挡概率图,作为原特征图的权重以减小遮挡的影响,获得干净的人脸表达。显然,这个干净的人脸表达缺失了遮挡区域的对应的特征,因此不能表示整个人脸。为了获取完整的人脸表达,低秩学习模块通过学习一个共享结构矩阵去恢复缺失的特征。而一般地,人脸的几何信息有利于特征的恢复。因此,遮挡自适应深度网络利用了一个几何感知模块提取人脸几何信息,以便低秩学习模块利用几何约束更好地恢复缺失的特征。实验结果证明,该遮挡自适应深度网络嵌入到AlexNet、VGGNet和ResNet中,都获得了不错的性能提升。并且,该网络在多个具有挑战性的数据集上的测试结果显示了其定位精度都比现有的方法好。