论文部分内容阅读
人脸正面化是将侧脸图像转化为保留身份信息特征的正脸图像的过程。在不少的实时监控系统中,采集到的往往是姿态各异的人脸图像。受姿态的影响,不少人脸识别方法识别性能会显著降低。人脸正面化方法,通过将各类姿态的人脸图像转换为同一人物的正脸图像,能够有效地解决人脸识别中的姿态问题。近年来,基于生成对抗网络的人脸正面化方法不断被提出,相比于其他方法,这类方法即使是在偏转角较大的情况下也能够生成没有明显形变的正脸图像。然而在偏转角增大的情况下,此类方法保留身份信息特征的能力下降依然较为明显。并且这类方法目前仅仅只是保留了人脸的身份信息特征,并没有保留表情信息。因此,本文提出了两个基于生成对抗网络的人脸正面化方法,其中第一个方法在姿态较大的情况下依然具有较强的身份信息特征保留能力,第二个方法能够保留人脸的表情信息,它们分别应用于多姿态人脸识别和表情识别中。两个模型均采用了生成对抗网络中常规的生成模块与判别模块,其中生成模块用于将侧脸转换为正脸,判别模块用于激励生成模块,它们在交替训练的过程中相互竞争相互提高,最终提升了模型合成图像的视觉效果。本文的主要贡献如下:(1)提出了一个保留人物身份信息特征的人脸正面化方法,它提高了同类方法在大姿态条件下保留身份信息特征的能力。不同于其他方法,它额外采用了一个特征映射模块与一个特征判别器。其中特征映射模块致力于将侧脸图像在正面化过程中产生的中间特征映射到同一人物正脸特征的附近。特征判别器通过分辨映射后的侧脸特征与真实正脸的特征,促使生成模块能够把侧脸特征映射到同一人物正脸的特征的附近。它们均提升了模型在大姿态条件下保留身份信息特征的能力。(2)提出了一个能够保留表情信息的人脸正面化方法。该方法在训练阶段额外加入了归一化指数损失函数与中心损失函数。它们能够将合成正脸图像在深度空间中的表情特征拉入对应表情在深度特征空间的领域,从而让生成正脸保留正确的表情信息。在Multi PIE、LFW和CFP数据集上进行的对比实验证明第一个人脸正面化方法在大姿态情况下的表现优于其他同类方法,说明该方法在大姿态下也能够高效保留人脸的身份信息特征。在Multi PIE数据集上的对比实验证明了第二个人脸正面化方法所合成的图像在各姿态的表情识别实验中依然有较高的准确率,说明该方法能够合成保留表情信息的正脸图像。