论文部分内容阅读
人脸图像是人员身份比对的重要信息,受采集设备的良莠不齐与复杂天气因素的影响,采集的人脸图像存在图像细节模糊、分辨率较低等问题,难以满足实际需求。目前,通过基于插值、重建和学习的图像超分辨率重建方法可以有效地将低分辨率人脸图像恢复至高分辨率的清晰图像,因此人脸图像超分辨率重建技术受到众多研究者的广泛关注。本文研究了基于深度学习的人脸图像超分辨率重建方法,主要包括单帧图像的超分辨率重建、基于生成对抗网络的人脸图像超分辨率重建和基于分段处理的人脸图像超分辨率重建,以及人脸图像超分辨率重建软件的编程实现。本文主要工作如下:在单帧图像超分辨率重建方面,探讨了图像的降质与重建模型,研究了多种图像质量评估方法,实现了基于插值与基于深度学习的图像超分辨率重建方法。在Set5和Set14数据集上对多种图像重建方法进行测试,实验结果表明,基于深度学习的方法有效降低了图像的失真,可以生成更加清晰的高分辨率图像。在基于生成对抗网络的人脸图像超分辨率重建方面,提出了一种结合超分辨率生成对抗网络(SRGAN)和自注意力机制的人脸图像超分辨率重建方法。通过在SRGAN的生成器和判别器分别添加自注意力模块,利用自注意力机制在远端依赖关系建模的优势对人脸重建图像实现整体轮廓的优化和局部失真的降低。对基于不同损失的SRGAN和改进的SRGAN分别在CelebA人脸数据集进行仿真实验和性能测试,实验结果表明,改进的模型使得人脸重建图像有更自然的整体轮廓和局部区域特征,视觉效果更佳。在基于分段处理的人脸图像超分辨率重建方面,分析研究了一种图像重建的分段处理方法,并提出一种基于SRGAN分段处理的人脸图像超分辨率重建方法。该方法将常规的4倍上采样过程拆分为2段2倍上采样过程,采用包含多种分辨率的人脸数据集训练神经网络,并基于相对平均判别器优化了损失函数。对SRCNN、VDSR、SRGAN等多种超分辨率重建模型在CelebA人脸数据集进行仿真实验和性能测试,实验结果表明,改进的方法相比SRCNN、VDSR、SRGAN等其它模型在保持人脸图像感知质量不降低的同时有效降低了图像失真,消除了图像伪影和区域颜色失真,改善视觉效果。在人脸图像超分辨率重建软件实现方面,采用PyQt5的界面设计语言和Pycharm的集成开发环境,分别以Python和Tensorflow作为编程语言和深度学习框架,编程实现了人脸图像超分辨率重建软件,并利用数据集人脸图像和自然场景图像中的人脸图像对相应的功能模块进行测试。该软件具有人脸检测、人脸图像超分辨率重建两个主要功能。