人脸识别作为生物特征识别的一种,因其非接触和非强制的特点,在支付、安防、门禁等各种身份认证系统中具有重要应用。人脸识别不需要识别对象的主动配合,因此应用十分方便,且准确性较高,发展和应用前景广阔。随着特定应用场景的逐渐显现,待匹配的人脸图像将来源于普通照相机以外的其他模态,如素描图、近红外图像、三维人脸数据、热红外图像、低分辨率图像等,而注册库中的人脸图像常常是在可见光模态下获取的。非可见光模态的人脸图像与可见光模态人脸图像的匹配过程,称为异质人脸识别,成为本文的主要研究任务。异质人脸识别算法有两大瓶颈,其一是模态间不同的数据分布使得它们的特征空间存在较大的鸿沟,从而使传统的识别算法失效;其二是现存的异质人脸图像数据库数据量非常有限,易使机器学习算法,尤其是当前性能较好的深度学习算法产生很大程度的过拟合问题。针对这两个难题,本文提出了以下方法:本文提出了一种深度迁移学习方法来解决异质人脸识别中的模态差异及过拟合问题。首先,本文使用了一种基于序级测量方法的深度迁移卷积神经网络(CNN),序级激活函数MFM(Max-Feature-Map)潜在地增强了CNN对异质变化的鲁棒性;其次,利用大规模的可见光人脸数据库对神经网络进行预训练,使得神经网络能够提取一般的人脸特征,为异质数据的训练提供先验;最后,用可见光和近红外域的照片来精调预训练好的深度模型:为了增大训练数据,采取了一种三元组的策略将来自可见光域和非可见光域的人脸数据进行配组,并提出了两种跨域的三元组损失,来约束类内和类间距离,使得小样本的数据库在深度模型上的学习过程成为可能。总的来说,本文提供了异质人脸识别的最新进展,包括相关的数据库、研究方法、实验结果等,对存在的问题及未来的发展方向做出了讨论。同时,提出一种深度迁移卷积神经网络,能够利用大规模的可见光人脸图像的丰富信息为网络提供先验,同时利用创新的跨模态的三元组扩展小规模的异质数据,提高了异质人脸的识别水平。所提出的方法也能够用于其他的异质识别问题。