人脸对齐,又称人脸特征点检测,是计算机视觉领域的一个焦点问题。它是指定位出人脸先定义好的特征点(嘴角、眼角、鼻尖)的位置。无约束人脸对齐算法指增强算法在夸张的人脸头部姿势、表情、光照差异以及部分遮挡存在情况下的性能。人脸对齐能够提供准确的、有特定语义的人脸形状信息,可以帮助实现几何图像归一化和特征提取。因此,人脸对齐是人脸识别、人脸姿态表情分析、人机交互以及三维人脸建模不可缺少的重要组成部分。在实际情况中,由于人脸表情、头部姿势、光照条件的差异和部分遮挡的存在,人脸对齐问题仍然面临着巨大的挑战。在此背景下,本论文在深入研究现有人脸对齐算法的基础之上,针对夸张人脸姿态、光照条件差异以及部分遮挡下的人脸对齐算法精度急剧下降的问题,提出了四个算法来提高人脸对齐算法在无约束条件下的鲁棒性。(1)基于级联形状回归的人脸对齐算法都需要一个初始化形状,初始化形状的好坏直接影响人脸对齐算法的收敛速度和精度。为了构建一个更有效的初始化形状,本文提出了基于局部形状组合模型的人脸对齐算法和基于由粗到细脸部形状估计的人脸对齐算法。基于局部形状组合模型的人脸对齐算法通过对人脸的姿势和表情进行粗估计,选择最接近测试人脸的局部形状构建组合脸(局部性状组合模型),有效的降低了初始化形状误差,提升了人脸对齐算法的精度。基于由粗到细脸部形状估计的人脸对齐算法首先对人脸形状的主要特征点的进行估计来辅助整个人脸形状的定位。然后,构建一个基于卷积神经网络的头部姿势分类模型,对人脸的姿势进行精确估计、分类。使用各自类的平均人脸形状作为初始化形状,并根据估计出的主要特征点位置对新的人脸初始化形状进行微调,进一步缩小初始化形状的误差。在三个公开的人脸对齐图像数据集上的实验表明,这两种方法对于人脸姿势和表情具有更强的鲁棒性。(2)基于多视角模型的人脸对齐算法将人脸对齐问题优化空间划分成多个具有相同梯度下降方向的域,然后每个域训练出各自的回归器对属于该域的人脸形状进行更新以逼近标准人脸形状。这种域的划分方式存在以下两个问题:1)由于测试集和训练集的差异,对于域的划分不具备一定的容错能力;2)没有利用域之间的互补和正则化关系来提升人脸对齐算法的精度。因此,本文提出了基于成分自适应机制的人脸对齐算法。首先采用基于概率的蕨分类器对人脸对齐问题优化空间进行划分,同时采用基于优势集的域的回归器的训练机制,来得到更有效的回归器。然后,一种成分自适应机制被用来融合相关域的回归结果对人脸形状进行更新。在三个公开的人脸对齐图像数据集上的实验表明,该方法能够有效提升算法对于人脸姿势和表情的鲁棒性。(3)基于级联深度回归和脸部去遮挡的人脸对齐算法主要用来解决人脸对齐中的遮挡问题。由于遮挡可以发生在人脸的任意部位,且遮挡目标的形式多种多样,因此遮挡很难被准确定位和恢复。同时人脸对齐、人脸识别等人脸分析任务很大程度上只依赖特征点周围的局部小区域,对脸颊、额头等区域的依赖比较低,因此本文提出了基于级联深度回归和脸部去遮挡的人脸对齐算法来解决遮挡问题。采用基于松开表示学习的生成对抗网络对遮挡的特征点进行估计和对遮挡的特征点区域进行恢复。同时将恢复之后的人脸图片作为深度回归网络的输入来得到更有效的回归器。通过级联的深度回归和脸部去遮挡,在逐步对人脸遮挡进行有效恢复的同时,实现人脸特征点的更准确定位。由于该方法能够对人脸图片的遮挡进行准确的定位和有效的恢复,因此提升了该算法在部分遮挡存在情况下的精度。在三个公开的人脸对齐图像数据集上的实验表明,该方法能够有效的提升算法对于部分遮挡的鲁棒性。