人脸识别是模式识别领域中一个困难而又具有实用价值和广阔应用前景的研究领域。目前大多数人脸识别系统利用可见光图像进行人脸识别,其识别性能容易受到光照变化的影响,在户外、昏暗光照以及非均匀照明条件下,其正确识别率会大大降低。同时基于可见光光谱的人脸识别对于伪装脸的识别也有困难。而利用热红外人脸图像进行人脸识别可以克服现有识别系统易受光照变化影响的缺点。但是,由于热红外线不能穿透玻璃,如果待识别对象戴有眼镜,在热红外图像中眼镜将呈现出墨镜的效果,使对人脸识别起重要作用的眼部信息全部丢失,而这些信息都是对识别有用的重要特征,将严重影响人脸识别性能。本文研究如何利用多光谱图像融合技术来提高人脸识别系统的整体识别性能。首先,本文将基于奇异值分解(SVD)图像分层应用于多模式图像融合。首先利用SVD对原始图像进行分解,然后重组为具有不同能量分辨率的三层:低分辨层、高分辨层和超高分辨层。根据每层的不同特点分别采取相应的融合策略。然后采用客观评价方法的实验结果表明该算法的有效性,且优于一般的经典图像融合算法。其次,本文提出一种基于双匹配度的多光谱图像融合策略。该融合策略首先在区域能量的基础上引入区域梯度,然后根据匹配度的类型和测量值进行小波低频系数的选取。实验从无需基准融合图像的客观评价方法和视觉效果两个方面表明双匹配度融合策略是一种有效的图像融合策略。该策略能够充分地利用区域特征信息,有效地保留图像的轮廓和边缘信息,同时能够有效地避免块效应的产生,产生良好的视觉效果。最后,本文通过结合基于图像能量的SVD图像分层方法与双匹配度图像融合策略的优点,提出针对可见光与远红外人脸图像融合的人脸识别算法。对比分析几种融合算法的实验结果表明该算法的有效性。