人脸识别算法因其在实际应用中广阔的前景而收到关注,它是人工智能、模式识别、计算机视觉等相关学科交叉领域的研究热点。人脸识别的核心问题是根据提供的人脸图像用机器提取出具有判别能力的特征来鉴别个人的身份。目前人脸识别算法受制于光照变化、姿态多样、饰物遮挡、表情变化和多模态图像影响,在实际应用中算法识别率不理想。本文以局部特征提取的框架为基础,对人脸识别中的遇到的难点提出相应的解决方法。主要的研究成果有:(1)研究了局部二值模式(LBP)算法的原理以及基于该算法的变种。综合分析LBP模式的优点和缺点,提出了类LBP识别框架,同时给类LBP模式指出了相应的改进方向。(2)局部序数模式(LIOP)提出使用邻域之间的序数关系对于纹理的描述有重要的作用。但是它只能应用在很小的邻域点上,得到的特征向量的判别能力较弱。局部量化模式(LQP)能够简化模式数量。于是我们研究了LIOP和LQP的相关原理,提出了基于局部序数描述的增强量化模式人脸特征提取算法。实验验证了该算法具有良好的识别能力,能够对表情、背景和遮挡有一定的鲁棒性。并进一步使用白化主成分分析使特征向量的分布更为紧凑,降低了特征向量的维度,提高了总体的识别性能。(3)针对异质图像的识别问题,提出了基于成对判别滤波核学习的局部特征异质图像识别方法。与传统的使用图像灰度特征直接进行异质图像的共同特征的提取不同的是,我们先将图像进行判别滤波减去不同模态带来的图像差异,接着使用增强量化模式为图像编码并提取直方图特征用于最终的人脸匹配。不像典型相关分析方法这种没有用到样本的标签信息的无监督学习方法,成对判别分析方法充分考虑了不同模态之间图像的标签信息。最终通过实验验证了该算法取得了比现有算法更好的效果。