人脸素描与照片的相互转化属于异质人脸转化问题,该课题研究首先应用在数字娱乐方面,根据人像照片可以方便快捷地获得一张对应的素描风格图像,能丰富人们的社交娱乐。其二在刑侦调查领域,由于素描与真实人脸图像之间存在颜色空间、纹理等特征的巨大差异,两者在计算机中直接进行人脸识别比较困难。因此将两种不同风格异质图像转化为同质图像,再通过后续识别算法对人脸进行识别的可行性比较高。早期研究人员主要研究人脸照片转换素描风格这一方向,并提出了很多方法。当下深度学习理论与技术发展,尤其是生成对抗网络的提出与优化已经能在一定程度上解决这类异质图像转换问题,其中循环对抗生成网络CycleGAN凭借其结构的优越性可以在一个模型中解决素描与真实图像相互转换。但CycleGAN存在人脸风格转换的图像成像质量不理想、风格化质量不高等问题,因此本文提出改进的CycleGAN-Improve模型,改进内容如下:（1）本文使用Inception-Res结构替换原始CycleGAN生成网络中间层使用的Res残差块。Inception-Res具有独特的拓扑结构能对输入图像并行地执行多个卷积运算操作,引入CycleGAN生成网络中能有效的完成风格转换。在实验中通过训练过程的损失值变化以及模型生成的转换结果的对比,验证改进结构的CycleGAN模型比原始模型能更快更好的完成素描与照片相互转化工作。（2）在原始CycleGAN循环一致性损失函数的基础上新增了协方差矩阵约束项。该方法通过不断缩小循环生成图像与原始图像的RGB三通道的协方差矩阵差异,能有效控制生成真实照片脸部的颜色分布,提升素描转化照片的生成效果。最终在CUFS和CUFSF数据集上测试结果（包含主观感受及客观图像评价指标）表明,本文提出的改进方法相比于基准Pix2Pix、CycleGAN模型转换的效果均有提高。CycleGAN模型作为风格转换的通用框架,但在人脸素描到照片的转化过程中更需要关注脸部区域,从而提升生成真实人脸的皮肤纹理、光感效果。本文利用改进后的CycleGAN-Improve提出一种双重CycleGAN模型的方法,即在整体素描图像转换真实照片基础上裁剪出人脸进行区域细分人脸转化,再将区域转换结果与整体图像通过三角剖分与仿射变换方法进行人脸融合。最终实验转换结果表明双重CycleGAN模型能更好的完成素描转换真实人脸过程。