素描人脸合成技术是图像合成的一个分支,在刑侦领域以及数字娱乐领域有着广泛的应用,并且受到越来越多的关注。尽管近些年很多专家学者提出各种不同的素描人脸合成方法,但合成结果仍然存在一些问题。目前,素描人脸合成技术所面临的主要挑战是如何确保合成结果的面部细节完整性和素描纹理真实性。随着深度学习的快速发展,素描人脸合成技术有了新的突破。基于深度学习的素描人脸合成方法改善了合成素描人脸图像的纹理效果,提高了素描人脸图像的真实性,但是合成结果仍然存在面部细节丢失、清晰度低等问题。本文通过对现有的素描人脸合成方法进行分析,针对现有方法中所存在的问题,提出一些改进方案,主要贡献概括如下:1、提出一种基于双层生成对抗网络的素描人脸合成方法。传统的素描人脸合成方法存在复杂的图像分块、拼接步骤,容易导致合成结果出现栅格现象,缺乏纹理真实性,清晰度低。该方法首先通过双层生成对抗网络学习光学面部照片与素描人脸图像之间的映射关系。然后,在原有的对抗损失基础上增加重建损失来进一步约束生成网络,优化生成网络的性能。最后,通过生成网络与判别网络的对抗训练,优化网络参数,合成素描人脸图像。在标准素描人脸数据集中的实验表明,该方法比传统素描人脸合成方法合成的素描人脸图像质量更优,素描纹理更真实。2、提出一种基于特征学习生成对抗网络的素描人脸合成方法。基于生成式模型的素描人脸合成方法,经常忽视图像的细节信息,容易丢失图像的特殊特征,例如眼镜、发卡、胡须等等。该方法由对抗学习模块与特征学习模块组成,对抗学习模块包含一个生成器与一个判别器,特征学习模块包含一个面部特征提取网络。特征学习模块旨在学习图像的面部细节特征,并引导对抗学习模块合成细节保留的素描人脸图像。对抗学习模块用于学习图像的结构与纹理特征,并通过对抗学习策略改善合成素描人脸图像的质量。在训练阶段,通过增加带有控制因子的对抗损失函数与面部细节损失函数相结合,从而对整个模型进行优化,提高模型的合成质量。在三个标准素描人脸图像数据集中的实验表明,该方法比现有基于生成式模型的素描人脸合成方法合成的素描人脸图像细节特征更丰富,清晰度更高。