人脸照片-素描图像的生成问题,指的是根据一幅拍摄的人脸照片,自动生成一幅对应此人脸的素描画像;或与之相反,根据一幅人脸素描画像,自动生成出一幅相应的人脸照片。在刑事侦查领域发挥着巨大作用,因此,针对该问题的研究具有重要意义。本文从三个角度分别研究人脸照片-素描的生成技术及实现过程:一是从人脸照片生成人脸素描(FP2SS);二是从人脸素描生成人脸照片(FS2PS);三是同时构建人脸照片到素描与人脸素描到照片的双模型。(1)针对FP2SS,提出了一种基于全局字典原子界定邻域的技术,分为原子界定邻域构建和伪素描生成两步。利用训练样本构建原子界定邻域的具体方式为:将训练人脸照片和相应素描,分块并全部收集,构成全局人脸照片-素描图像块对;所有人脸照片块提取“混合多种特征”并学习到一个全局的字典;以字典的每个字典原子为特征锚,将所有人脸照片-素描块划分到不同的特征域,并将照片特征切换到“自商图像特征”空间,构建原子界定邻域。伪素描的生成步骤为:人脸照片分块,找到每个照片块最相近的原子界定的邻域,在该邻域中寻找最近的训练人脸照片块,则对应的人脸素描块为输出。另外,为了增加细节,同理构建高频原子界定邻域,输出高频伪素描,与原始伪素描融合,获得更具人脸细节的素描。(2)针对FS2PS,提出了一种基于生成对抗网络的技术,分为两个过程:一是利用训练样本学习FS2PS模型,称为训练过程;二是对测试人脸素描,根据模型输出伪人脸照片,称为生成过程。在训练过程,搭建FS2PS生成网络、风格计算单元和判别网络。生成网络的结构中,后三个残差网络块的归一化层引入与输入有关参数,保障生成结果与输入的一致性。生成网络和判别网络在训练时相互对抗,形成对抗损失。风格计算单元不含待训练的参数,其计算伪人脸照片与众多风格参考人脸照片的特征图图像块之间的损失,形成风格损失。训练的总损失包括生成对抗损失、风格损失,以及衡量生成伪照片与目标照片差异的损失。在生成过程,直接将人脸素描输入训练的FS2PS生成网络,输出伪人脸照片。(3)提出带隐空间的对偶人脸照片/素描生成器,同时训练出FS2PS与FP2SS的两个模型。训练过程中,基于对偶学习思想,将照片到素描生成器的结果输入素描到照片生成器,将得到的伪照片与最原始的照片作比较,形成照片的对偶损失;同理在逆方向上,得出素描对偶损失。此外,还设计一个特征映射网络网络,将输入域和目标域都投影到了一个共同的隐空间内,在隐空间内输入域和目标域的特征是相似的,形成隐空间损失。总损失值包括了对偶损失、隐空间损失、生成对抗损失等,以总损失值最小为目标训练出两个生成器和相应判别器,以及特征映射网络。在伪图像的生成过程中,预先训练的两个生成器独立实现各自生成素描/照片的作用。通过在人脸照片-素描数据库上的实验,验证了所提出的三种技术方案的可行性和合理性,能产生较好的人脸素描或人脸照片,与其他常见的算法相比,生成结果在主观上和客观上都具有突出的表现。