人脸姿态与光照因素是影响人脸识别性能的两个主要原因,本文提出一种二维人脸识别与三维人脸识别相融合的方法来解决这两个问题。二维人脸识别中先对人脸区域图像进行预处理,减少光照等因素的影响,然后提取人脸Gabor特征,再利用Fisher线性判别(FLD)进行子空间降维,设计分类器得到二维人脸识别的结果。三维人脸信息的获取是三维人脸识别的基础,我们通过多相机阵列,利用立体视觉的技术来得到人脸三维几何特征信息,设计加权最小距离分类器进行三维人脸识别。最后把二维人脸识别与三维人脸识别的结果进行决策融合。在二维人脸识别的研究中,我们利用Gabor特征以及Fisher线性判决(FLD)的方法。我们对Gabor特征的提取进行了深入的研究,Gabor特征不仅能够表征人脸的尺度特征以及方向特征,还能通过减少图像的直流成分来减少灰度的影响。由于对图像提取多尺度多方向的Gabor特征,数据量会有很大的增加,我们利用Fisher线性判别分析来进行子空间降维处理。三维人脸识别首先需要获取人脸的三维特征信息,我们通过多相机阵列获取人脸同一姿态的多张照片,然后利用立体视觉的技术获取人脸的特征点的三维空间位置,然后确定了人脸的三维几何特征,采用三维几何信息即包括关键特征的分布特点(眼睛中心的距离、眼睛中心与鼻尖的距离等),又包括了关键特征的形状大小特征(眼睛大小、嘴巴的大小等),最后利用加权最小距离法进行分类识别。人脸识别的研究内容主要有人脸检测、特征点定位、特征提取、人脸识别等,我们利用立体视觉获取三维人脸信息,立体视觉的主要研究内容有相机标定、立体匹配、目标点空间定位等。本文的研究重点是快速多相机人脸检测、特征点精确定位、Gabor特征提取以及子空间降维、基于垂足法的空间点定位以及基于三维几何特征的三维人脸识别。1)人脸检测是人脸识别的第一步。我们的研究是基于多相机阵列的,这要求自动人脸检测的快速性。考虑到相机采集到的图像是彩色图像,利用人脸肤色的不变特征进行人脸可疑区域的筛选,然后利用Adaboost算法在筛选出来的可疑人脸区域上进行人脸确认,大大减少了Adaboost算法的搜索区域,从而提高了检测速度。2)人脸检测获取人脸区域后就需要进行特征点定位,特征点定位的是准确性决定了提取的人脸特征是否准确有效。本文利用主动形状模型(ASM)进行多特征点的定位,我们对ASM算法进行改进,把原算法一维方向的特征搜索改进为二维方向的特征搜索,虽然计算量稍有增加,但是收敛变快使得算法的循环次数减少,总体速度得到了一定的改善。ASM算法能同时定位多个特征点且定位速度较快,但是定位精度并不是很高,特别是在人脸姿态发生较大改变的情况下,我们利用角点检测的方法对特征点的位置进行修正。3)最后我们进行了人脸识别系统的设计。光照是影响特征提取的主要因素,我们在系统设计中非常重视图像的预处理,通过对图像进行同态滤波,实现减少低频分量增加高频分量的目的,采用直方图匹配的方法可以最大可能的保证所有图像光照的一致性。然后对基于二维特征与三维特征人脸识别算法的融合,实现了一种新的人脸识别的方式,并按照算法流程设计了人脸识别系统。