随着互联网技术的发展,我们进入了一个数据“爆炸”的时代,人脸图像是人们日常生活中最为关注的数据之一,我们对高清人脸图像的需求越来越高,甚低分辨率人脸幻构技术即将极低分辨率的人脸图像重建为高分辨率的人脸图像,以便后续的人脸识别或其他处理。人脸幻构技术可理解为针对人脸图像的超分辨率技术,其研究历史有二十多年,从全局脸方法到局部脸方法,再到利用人脸结构特性的一些综合性方法,对于一般的低分辨率人脸做4倍重建已经有理想的恢复效果,然而当放大尺度增大到8倍时,大多数方法的重建效果严重下降。2012年,Alexnet的成功引发了深度学习研究的热潮,深度学习能够充分挖掘大规模数据集中的特征,基于深度学习的甚低分辨率人脸幻构方法成为可能。本文的主要工作是甚低分辨率人脸幻构深度模型与算法研究,其核心思想和创新点主要分为以下三点:1.以VDSR(Very Deep Convolutional Networks for Image Super-Resolution)超分辨率网络为基础,融入Googlenet的Inception思想,本文构建了基于MP-VDSR(Multi-Path and Very Deep Convolutional Networks for Image Super-Resolution)的自然图像超分辨率方法。实验结果表明,多路径结构能够在不增加参数量的情况下提高网络的特征提取能力,在图像重建精度PSNR和SSIM指标上较VDSR有稳定的提升,但是将网络直接应用于甚低分辨率人脸幻构时其重建结果过于平滑,缺少人脸高频细节。2.结合seq2seq任务中的Encoder-Decoder结构,利用具备上下采样功能的Resnet模块分别构建编码器和解码器,本文提出了基于EDV(Encoder-Decoder-Vector)和EDF(Encoder-Decoder-Feature)网络的甚低分辨率人脸幻构方法,其中EDV网络的中间变量为向量形式,EDF网络的中间变量为特征图形式。实验结果表明,网络可以重建出清晰的人脸主要结构,但是相较于高分辨率原图,在人脸眼角嘴角等高频细节出仍有不小差距。3.为了进一步增强重建人脸的高频细节,本文引入对抗训练机制,在WGAN-GP和WGAN-LP框架下以EDV和EDF网络为生成器,提出了基于正则WGAN的甚低分辨率人脸幻构方法。实验结果表明,网络重建结果在图像重建精度PSNR和SSIM指标上均有提高,在图像生成质量评估FID标准上也效果理想。最后本文对训练集数据进行数据增强,重新训练网络,提升了网络对真实低分辨率人脸图像的适用性。