人脸识别是计算机视觉领域的主要研究方向之一。近些年来,随着深度学习算法的发展和大规模人脸数据的出现,人脸识别的研究取得了很大的进展。然而,人脸识别,尤其是在非可控的环境下的人脸识别,仍然是一个很有挑战性的难题。这是因为非可控环境下采集到的人脸图像常常是低质量的,有很多因素会显著地影响人脸识别算法的性能,例如光照、遮挡、姿态变化等。为了解决这个问题,研究者们提出了很多方法。这些方法大致上可以分为两类:(1)基于隐空间学习的方法;(2)基于图像合成的方法。前者尝试学习一个足够鲁棒的特征以免疫干扰因素的影响,后者的目的则是合成(或重构)一个排除了干扰因素的理想图像。本文中关注的是后一类方法,即基于图像合成的方法。具体来说,本文提出了三种基于图像合成的方法,用于移除低质量人脸图像中的干扰因素并重构出理想的高质量人脸图像。具体来说,本文所提出的方法可以归纳如下:(1)一种从低质量人脸图像的还原方法本文提出了一种新的框架,用于移除低分辨率人脸图像中的干扰因素并同时提升图像的分辨率。具体来说,我们使用了一个线性模型来利用全局结构信息对干扰因素进行建模,并使用了一个基于局部纹理信息的稀疏编码方法来进行超分辨率。然后,我们提出了一个新的框架来将全局的模型与局部的模型结合起来得到一个目标函数,并通过优化这个目标函数来获得去除干扰因素的高分辨率人脸图像。为了优化目标函数,我们还提出了一种有效的交替优化方法。就我们所知,这是第一个能够同时去除干扰因素并进行超分辨率的人脸图像还原方法。实验结果表明我们提出的这个方法不但可以有效地去除低质量人脸图像中的干扰因素,同时也能显著地提高人脸图像的识别与聚类性能。(2)基于特征变换的人脸正面化方法现有的基于神经网络的人脸正面化方法通常使用一个编码器-解码器结构的网络,根据输入的侧脸图片来生成相应的正脸图片。期间,神经网络的主要任务有两个:全局上,要实现从侧脸到正脸的结构变换;局部上,要完成正脸的纹理细节重构。然而,这些基于神经网络的人脸正面化方法产生的图像往往是偏模糊的。这是因为输入图片(侧脸图片)会先被编码器编码成一个低维的特征表达,然后再通过解码器根据特征表达重构出正脸图片,这个高维-低维-高维的变化过程容易导致纹理细节的丢失。为了解决这个问题,本文提出了一种基于特征变换的人脸正面化网络(Feature Transformation based Face Frontalization Convolutional NeuralNetwork,FTFF-CNN),通过一种共同学习的方法来学习全局结构变换与局部纹理细节重构这两个任务。具体来说,我们设计了一个恒等网络(即输入与输出相同)来专注于纹理信息的编码/解码,再通过另一个特征变换网络来在隐空间中将侧脸图片的特征变换到正面图片的特征。通过这种方式,我们不像其它基于神经网络的人脸正面化方法那样要求编码器将所有角度的图片(包括侧脸图片与正脸图片)映射到同一个特征空间中,而是通过特征变换网络来学习从侧脸特征空间到正脸特征空间之间的映射,这减轻了编码器的训练难度。实验结果相比其它基于CNN的人脸正面化方法,FTFF-CNN可以更加有效地保留并重构纹理细节。(3)基于外观流的人脸正面化方法近年来,关于如何解决图像合成中输出图像模糊的问题,有一种基于光流的方法引起了广泛关注。这种方法的主要思想就是不是直接计算目标图片的像素值,而是通过从一张或多张输入图片上“移动”像素的方式来合成目标图片。受这种方法启发,本文提出了 一种基于外观流的人脸正面化网络(Appearance Flow based Face Frontalization Convolutional Neural Network,A3F-CNN)。与其它基于神经网络的人脸正面化方法直接“生成”目标图片像素的方法不同,A3F-CNN的目标是学习的是侧脸图片与正脸图片之间的稠密映射,即像素级别的一一对应关系。一旦这个映射学习到了,就可以通过从侧脸图片上“移动”像素的方式来合成正脸图片。为了解决网络难以训练的问题,我们还提出了一种基于外观流引导的学习方法,以便有效地训练A3F-CNN。具体来说,我们先通过SIFT-FLOW算法离线生成比较粗糙的稠密映射,然后用这些粗糙的稠密映射来引导A3F-CNN的训练。实验结果表明,相比其它基于神经网络的人脸正面化方法,A3F-CNN能够生成具有更加丰富的纹理细节的正脸图片。综上所述,本文提出了3种不同的低质量人脸图片还原方法,包括一种从低分辨率且受光照、表情、遮挡等因素影响的低质量人脸图片中还原高质量人脸图片的方法,以及两种人脸正面化方法。实验表明,这些方法可以有效地还原出高质量的图片,且所还原的图片具有比原图片更好的可识别性。