人脸识别是机器根据人脸信息自动确认人身份的技术，是计算机视觉和模式识别的核心研究领域之一，在监控、金融、刑侦、人机交互等领域有着广泛的应用前景。经过多年发展，人脸识别的关注场景逐渐从用户配合的受控场景发展到非用户配合甚至隐蔽条件下的不可控场景。人脸识别也在新的应用场景下遇到了许多挑战，如姿态变化、表情变化、光照、遮挡，低分辨率等。这些因素都会使人脸表象的类内变化大于类间变化，降低人脸识别系统的性能。其中，姿态和表情由于出现频率高、干扰性大，一直是制约人脸识别实用化的两个巨大障碍。　　本文对人脸识别问题中的姿态和表情变化进行了深入研究和分析，提出三维技术是解决这些问题的一个强有力方法。由于姿态变化来源于人脸在三维空间内的旋转的而表情变化来源于人脸的三维非刚性形变，使用三维技术显式地对姿态和表情变化进行建模并校正将比传统的二维方法更加直观有效。从人脸二维图像中估计出三维信息并使用三维信息对干扰因素进行校正，进而辅助人脸识别系统，本文称之为基于三维辅助的人脸识别。基于三维辅助的人脸识别包含两个预处理步骤:其一为三维人脸模型拟合，其二为三维人脸校正。本文也从这两个方面入于，针对现有方法中的各种缺陷，提出了相应的解决办法，主要的工作和贡献有:　　1.传统的三维人脸模型拟合方法采用分析-合成框架，其仅使用图像像素作为拟合特征，导致在非受控场景下的拟合过程极易陷入局部极值而得到次优解。本文提出了基于稀疏SIFT流的拟合方法，使用更加鲁棒的SIFT特征作为拟合特征，并针对人脸这一特殊物体对SIFT匹配算法SIFT流进行优化，将SIFT流限制在稀疏的人脸纹理丰富区域，极大减少了运算量。当嵌入到分析-合成框架中作为额外的拟合约束时，稀疏SIFT流几乎不占用拟合时间。　　2.现有拟合方法的一个重要缺陷是拟合速度过慢，处理一张人脸图像通常需要一分钟以上，严重限制了应用范围。受人脸关键点定位相关成果的启发，本文提出使用基于回归的方法代替传统的分析-合成框架，在人脸模型的三维关键点处提取HOG特征，并通过级联回归的方式逐步更新模型参数直至收敛。将“模拟图像生成-损失函数优化”的拟合过程用“提取图像特征-级联回归”的拟合过程替代，极大减少了拟合所需的迭代次数以及每次迭代所需的时间。　　3.大姿态（偏航角大于45°）下的三维人脸模型拟合一直是一个难以解决的挑战。首先，自遮挡会导致部分关键点不可见，使得在大姿态下无法依赖于二维关键点约束或三维关键点处提取的图像特征。其次，当存在大姿态时人脸的表象变化更加复杂，甚至会发生从正脸到侧脸的结构变化，这对拟合方法提出了更高的要求。最后，在大姿态下标定训练样本过于困难导致拟合算法的训练缺乏数据。本文提出了一种新的级联卷积神经网络结构从人脸图像直接回归出三维人脸模型参数。该方法提出了两种新的拟合特征以将若干卷积神经网络级联起来构成一个强大的回归器，并提出了一种新的损失函数以描述模型参数的优先级，使拟合过程倾向于更加重要的参数。针对数据缺乏的问题，本文提出了一种人脸侧面化算法，其在三维人脸模型的辅助下，可以对中等姿态的训练样本进行面外旋转，虚拟生成大量大姿态下的逼真训练样本。　　4.拟合出的三维人脸模型可以提供额外的三维信息对人脸图像进行姿态和表情校正。针对现有校正方法会丢失人脸身份信息的问题，本文提出了一种高保真人脸姿态表情校正方法，可以将任意姿态、任意表情的人脸图像生成其正面无表情的图像。具体来说，给定检测好的关键点，该方法首先使用一种新关键点漂移算法拟合三维人脸模型，然后使用三维面片化技术将整张人脸图像转化为一个三维物体，并进行面外旋转和非刚性形变完成姿态表情校正。最后根据人脸的对称性对自遮挡区域进行光照自适应的无缝填补，生成完整的校正结果。与传统方法不同的是，该方法保留了人脸周边区域和自遮挡区域，极大保留了原始人脸的身份信息，提高了校正的保真度。　　总的来说，本文针对三维人脸模型拟合和三维人脸校正两个方向进行了深入的研究，提出了多种有效方法提升算法性能，推动了基于三维辅助的人脸识别的发展，提升了人脸识别算法在不可控场景下的鲁棒性。