论文部分内容阅读
人脸素描具有丰富的阴影纹理和很强的立体质感,能生动逼真地表现人物的个性特征,因此被广泛应用于法律实施和生活领域。本文提出了一种基于素描序约束的素描生成方法,即如何利用画家在素描绘制过程中生成的中间结果,来充分约束深度网络不同中间层的输出,以提高最终素描生成的逼真性的一种方法。文章的具体工作有以下三方面:(1)首次构建一个包含400张人脸素描的数据库,我们称之为Ord-Sketch(具有素描序的素描库,order-Sketch),其中每个人脸都对应包含25步素描次序图。该数据库是根据CUHK学生数据库和CUFSF非中国身份数据库进行绘制;(2)Ord-Sketch是具有时序特性的数据库,据此提出基于条件生成对抗网络构建的SO-Net(Self-Organizing Network)模型。SO-Net模型将素描生成过程划分为五个阶段(因为在Ord-Sketch数据库中我们仅仅使用了 25步中间结果中的5个中间结果,画家认为这5个中间结果是最具有代表性的结果)。SO-Net模型具有五个生成器五个判别器,且生成器中采用在处理序列问题上具有独有优势的卷积长短期记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)来学习素描序列的时序信息。五个生成器均含有相同结构的卷积神经网络(Convolutional Neural Network,CNN)编码器和解码器,与其他CNN方法不同的是,每个阶段编码器的输出首先通过ConvLSTM来强化“素描次序”特征信息。最后经过上采样生成人脸素描。这种设计模拟人类素描过程,即先学习轮廓,之后逐步描写细节的过程,可以让网络逐步学习到更丰富的特征。判别器采用了 PatchGAN使得生成素描分辨率高,且高度保持图片细节;(3)基于SO-Net网络框架,本文设计了一种基于素描序素描生成方法的损失函数,有效提高了生成素描的质量。最后,在Ord-Sketch数据库测试集上的实验结果证明,本文基于素描序约束的素描生成方法,较文献中的其他方法确实可以提高素描生成的质量。同时,我们构建的含25步素描序(或中间结果)的数据库,也会对其他研究人员提供一些参考和帮助。