人脸识别作为一种生物测定技术,相对于虹膜、指纹等识别技术,因其在图像获取过程中的非接触性、廉价性、便利性等优势,在安防、人机交互、信息检索等领域备受关注。同时,人脸识别作为图像理解的一个典型案例,在过去的几十年里,受到来自计算机视觉、模式识别、机器学习、统计分析等领域科研人士的广泛关注。目前,人脸识别在良好控制的非复杂变化环境下取得了良好的性能表现,并逐渐由实验室研究转向现实应用。然而,在这一转换过程中,人脸识别算法面临新的问题和挑战,大大影响了其预期应用效果。挑战主要来自现实应用环境中的非控制复杂环境变化,包括光照、表情、姿态、遮挡等,造成人脸外观的丰富变化。非控制现实应用环境下的人脸识别问题远未解决。本文重点研究了非控制条件下鲁棒的人脸分析和验证。本文重点关注人脸分析和验证中的两个核心问题,即,面部特征定位和人脸表示学习。针对第一个核心问题,探讨了鲁棒精确的人眼定位以及后续人眼特征分析；针对第二个核心问题,探讨了基于有监督和无监督的两种表示学习方法。最后针对终极目标,即,人脸分析和验证,提出了一种自适应于当前测试人脸对的人脸验证模型设计方法。本文的主要贡献总结如下：(1)全面回顾了非控制条件下鲁棒的人眼定位技术,从三个角度阐述了当前技术对人眼定位问题的解决现状。在此基础上,重点关注人眼定位在真实应用场景中面临的困难和挑战,提出了一个鲁棒、高效的人眼定位统一框架,并在此框架内对其中涉及到的关键问题进行了讨论,包括预处理和后处理。从对象定位的角度重新审视人眼定位问题,并充分挖掘一般对象检测领域对构建高效鲁棒的人眼定位系统的积极意义。另外,对当前流行的人眼定位算法的性能进行了讨论和比较,并指出了算法评估中存在的一些问题。(2)探讨了后续人眼特征分析技术,提出了基于外观信息的人眼特征分析一般框架。针对噪声条件下极易造成单个像素点的梯度信息发生很大变化,进而影响现有基于梯度方向直方图的形状特征提取稳定性的问题,提出一种基于梯度主方向直方图的局部形状描述子,同时扩展到多尺度版本,从而在特征层面应对人眼尺度变化。在此基础上,进一步利用多特征融合的思路来应对非控制条件下人眼状态的复杂外观变化,在非控制条件下的人眼状态识别上表现出良好的性能。(3)在有监督的表示学习框架下,探讨了属性表示学习和利用。基于属性间的语义相关性,考虑挖掘属性之间的相关关系,并利用这种相关关系来提高属性利用的效率,进一步提高人脸验证器的性能。针对直接刻画属性关系的不便,提出将属性以分布式的方式表示在主体(身份)空间中。基于属性在主体空间中的高维表示,构建属性关系图。结合“高度相关的属性在分类决策中应该具有相近的贡献度”这一先验知识,提出基于拉普拉斯正则化约束的线性判别分类模型,通过约束模型的复杂度,提高了模型的推广能力。最后,将该思路扩展到一般非离散的属性上,给出了一般属性(特征)关系刻画的多种方式。在包含两个大型非控制人脸数据集、一个物体识别数据集、及多个UCI数据集上,均验证了算法的有效性。(4)在无监督的表示学习框架下,探讨了聚类表示和利用。提出无监督的方式来挖掘Web人脸图像并用来构建基于“外观相似的人脸簇”的判别、分布式表示。基于此无监督人脸表示,在后续人脸验证模型设计中,针对测试人脸对的身份未知而导致的信息量缺乏的问题,提出训练一个自适应与当前人脸对的验证模型,进而把评估人脸相似度问题,转化为评估基于当前测试人脸对训练出的人脸验证模型的问题。该方法在模型层面进行判定,相对于基于单个人脸对信息在特征层面进行判定的方法具有较好的推广性。