人脸识别是生物识别技术中应用前景最广阔的技术,其有以下优点比如符合人“以貌取人”的认知规律,识别精度高,非接触式识别等等,而随着市场需求对算法精度的要求越来越高,光照、姿态、表情、遮挡等非限制因素在影响人脸识别系统性能的因素中占的比重也越来越大。为了抑制非限制因素的影响并且提高现实场景中人脸识别系统的鲁棒性,双模态或者多模态人脸图像的融合识别问题成为需迫切解决的问题之一。虽然目前在融合识别领域有很多的工作,但在非约束条件下的性能还有待进一步提升,针对这一问题,本文首先从互补的识别信息应设计不同的特征提取器的思想出发,创新地提出了两种算法,并分别利用决策层和得分层融合技术融合互补的特征。其次,从分类的角度出发,引入基于稀疏表示的分类算法,并提出具有判别性和较低计算复杂度的融合模型。一方面其他模态的已标注人脸图像相较于可见光模态人脸图像来说规模太小,并且如何利用现有的大规模可见光数据来构建其他模态图像的数据集的问题,可以转换成异质(以与可见光成像原理不同的方式获取的图像)图像或者说双模态图像跨域识别问题,而另一方面随着应用场景的不断更新,市场上待识别图像的模态已经不仅仅局限于可见光波段。近红外人脸图像,热红外人脸图像,素描人像等双模态或者多模态的人脸识别问题都需要解决方案。就以上问题,本文从对抗判别域适应的角度出发,利用无监督学习的方法缩小双模态图像之间的模态差异。首先,本文使用交叉熵和中心损失函数联合预训练了一个全卷积网络,从而使得可见光数据类内更紧凑类间更疏远,赋予网络一个强的鉴别能力,为另一个网络提供先验知识;其次,利用对抗损失对抗地训练了另一个结构一致的全卷积网络,使得两个网络提取的特征的数据分布一致,从而缩小模态之间的鸿沟,并利用前一个网络提供的先验知识输出另一个模态图像的后验概率。总的来说,本文从融合和跨域两个角度出发,对双模态人脸识别的最新进展以及目前存在的问题进行了探讨。同时从传统算法的角度提高了融合识别的精度,从深度学习的角度提出了一种新的基于对抗判别域适应的异质人脸跨域识别算法。