人脸识别作为人工智能的典型应用之一,具有重要的实用价值和研究意义。近年来,基于深度卷积神经网络的人脸识别技术取得了突飞猛进的发展,但主要集中于二维可见光人脸识别的研究,在真实无约束场景中仍然面临许多挑战和难题。随着人脸识别应用的推广和传感器技术的发展,异质人脸识别需求应势而生且日益增大。但异质人脸图像间显著的外观变化,使现有人脸识别系统面临识别精度大幅下降的问题。本文对异质人脸识别问题及其解决方案进行了分析,并从基于特征表示学习、基于子空间学习和基于混合学习三个方向出发,对异质人脸图像的域不变本质特征学习方法进行了深入研究。此外,还构建了一个室外无约束场景的3D-2D人脸识别数据库。本文主要工作和贡献包括:1.针对缺乏方法研究框架模型的问题,提出了一种异质人脸识别框架模型。缺乏明确的异质人脸识别方法研究框架模型,容易导致对各方法的研究动机、不同方法之间的关联以及对不同方法的归类总结不够直观,甚至出现混淆的问题。针对该问题,本文进行初步探索并建立了一种异质人脸识别框架模型。该模型有助于对现有异质人脸识别方法的理解和归类总结,还为后续方法研究提供了理论支撑和研究思路,具有一定的指导性意义和作用。2.针对跨域差异的度量和消除难题,提出了一种基于对抗的域不变特征学习方法DIDF。显著的跨域差异是异质人脸识别研究需要重点攻克的问题。对此,本文从基于特征表示学习的研究方向出发,对异质人脸识别框架模型中的特征提取过程进行重点研究,提出了一种基于对抗的域不变特征学习方法。在一个端到端的网络中同时优化基于对抗学习的域自适应对齐和基于四元组度量学习的类对齐,以消除分布差异、减小类内变化且增大类间可分离性。在CASIA NIR-VIS 2.0、Oulu-CASIA NIR&VIS、BUAA-Vis Nir和IIIT-D Viewed Sketch四个异质人脸识别基准数据库上的实验表明,该方法不仅有助于解决分布差异的度量和消除问题,还提高了人脸特征的域不变性和类（即身份）鉴别性。3.针对跨域差异等所有身份无关因素对人脸识别造成影响的问题,提出了一种注意力引导的特征解耦方法AgFD。除跨域差异外,其他外界因素,如姿态、年龄等变化,也会对人脸识别的结果造成影响。针对该问题,本文从基于子空间学习的研究方向出发,对异质人脸识别框架模型中的特征匹配过程进行重点研究,提出了一种注意力引导的特征解耦方法。采用分层互补的方式自适应地将人脸面部表征解耦为身份特征和身份无关特征（具体包括模态信息以及其他所有身份无关信息）,同时还通过基于互信息的对抗去相关学习和基于总体相关信息的对抗去相关学习,提高身份特征对模态等所有身份无关因素变化的鲁棒性以及对身份特征自身局部维度变化的鲁棒性。实验结果表明,提出的方法在多个异质人脸识别基准数据库上的识别性能都表现出一定的优势。4.实现了基于DIDF和AgFD的3D-2D人脸识别方法,在公开库上的识别性能都超过了现有方法。同时,针对真实室外无约束场景3D-2D数据缺乏和识别难题,构建了一个人脸识别数据库WS3D-2D,还提出了一种改进的基于特征解耦的方法FD-3D2D。首先,本文从基于混合学习的研究方向出发,对异质人脸识别框架模型中的多个处理过程进行研究,分别实现了基于DIDF和AgFD的3D-2D人脸识别方法,在公开数据库FRGC V2.0上的识别性能都超过了现有方法。其次,针对目前3D-2D人脸识别数据缺乏且大多采集于实验室受控环境的问题,构建了一个真实室外无约束场景下的3D-2D人脸识别数据库WS3D-2D。该数据库包含受试者对象的高精度全脸三维模型和室外无约束场景下的二维监控图像,与实际应用中的数据非常逼近,因此具有重要的研究意义和实用价值。此外,针对室外无约束场景下的3D-2D人脸识别难题,通过对AgFD方法中的四元组采样策略进行改进以及引入明确的姿态解耦约束,提出了一种改进的3D-2D人脸识别方法FD-3D2D。实验结果表明,该方法有助于减小训练数据噪声带来的影响以及克服二维监控图像的大姿态变化等人脸识别难题。基于本研究工作开发的3D-2D人脸识别系统在多个实际现场取得的成功示范应用,证明了本研究工作的意义和价值。上述工作虽然是针对异质人脸识别的研究和探索,但其理论和研究方法具有一定的通用性和可扩展性,对其他领域,如跨年龄人脸识别、跨姿态人脸识别、行人重识别等,依然具有一定的参考意义和指导作用。