人脸识别技术自诞生以来,已经深入到生活的方方面面,人脸识别技术已成为生活中不可或缺的一部分。随着计算机互联网的发展,现代社会对于人脸识别技术提出了进一步的挑战,其中素描草图人脸识别在社会安全方面具有非常重要的作意义,通过素描草图人脸识别技术,警察可以迅速高效地到嫌疑人。素描草图人脸识别是将艺术家手绘的素描草图人脸图像和照片人脸图像进行匹配,从而找到具体的人员的身份信息。素描草图人脸识别技术主要在减少不同模态图片之间的差异性,从而提高识别精度。本文在深度度量学习技术基础上提出了新的素描草图人脸识别方法,使得在模态之间的差异减小的同时,进行类别鉴别分析。首先,为了减少素描草图人脸识别中不同模态照片之间的差异,提出了基于跨模态多任务深度度量学习(CMTDML)的素描草图人脸识别方法。首先设计了一个双通道神经网络来提取照片模态和素描模态的非线性特征,同时利用双通道神经网络参数共享的特性来减少不同模态之间的特征差异。然后,设计了损失函数来约束公共空间中的特征,从而提高了特征的类内紧性和类间可分性。其次,为了进一步的对素描草图样本进行类别分析,提出了基于多类别多任务深度度量学习方法(MCDML)的素描草图人脸识别方法。首先,设计三元组阈值中心损失来扩大类间样本的距离,同时减少类内样本的变化。三元组阈值中心损失可以有效地提高类内紧度。此外,三元组阈值中心损失采用难三元组样本选择策略,能够有效地选取有效的硬样本,避免训练阶段不稳定和收敛速度慢的问题。通过三元组阈值中心损失,可以使得来自相同身份的照片和素描草图的样本更接近,来自不同身份的照片和素描草图的样本更远。最后,为了同时减小素描草图之间的不同模态差异和进行素描草图样本的类别分析,提出了基于多类别跨模态深度度量学习(MC~2MDML)的素描草图人脸识别方法。首先,构建了四通道神经网络,对素描草图数据库构建的四元组样本提取相对应的人脸特征,并通过残差模块和模态鉴别损失减小模态之间的差异性。然后,提出基于的四元组网络的四元组模态差异损失函数,使得投影到公共子空间中的样本,类内紧凑、类间可分。与传统的素描草图人脸识别方法相比,本文提出的方法在CUFSF数据库和IIIT-D数据库都取得了良好的效果。