论文部分内容阅读
随着人脸技术在现实生活中的广泛使用,人脸图像的相关研究受到越来越多的关注,人脸超分辨率重建技术(Face Super-Resolution,FSR)便是其中之一。在现实生活中,由于设备质量、拍摄环境和物体运动等因素的影响,人脸图像出现模糊、细节丢失和纹理不清晰等情况,影响人脸图像的使用效果。因此,改善人脸图像质量,提出快速而有效的方法变得十分重要。近年来,为了提高人脸图像的重建效果,越来越多的优秀算法被提出,生成对抗网络(Generative Adversarial Network,GAN)的出现给FSR提供了更加有效的手段,使得FSR能够重建出视觉感知效果更好,纹理细节更清晰的人脸图像。人脸图像具有特殊的结构和规律,因此,具有人脸规律特性和细节信息的先验知识常作为人脸重建技术的重要组成部分。基于此背景,本文以GAN网络为基础,并融合人脸先验知识(Facial Prior Knowledge),研究了FSR的相关技术。其中,人脸先验知识种类繁多,包括人脸关键点、人脸解析图和人脸热图等,本文选用的先验知识是人脸解析图(Facial Parsing Map,PM)。具体工作如下:(1)针对低分辨率图像特征提取不充分的问题以及人脸图像特殊性的情况,提出一种基于残差稠密块结构并优化损失函数的生成对抗网络--SC-GAN网络。该方法在生成网络中,使用残差稠密块作为基础模块,通过稠密连接的方式,增加低分辨率图像及其特征图向后层网络层传输的信息流;并通过局部残差的方式引入低分辨率图像的直接映射,从而减少信息损失。出于人脸图像特殊性的考虑,在网络训练过程中,联合使用基于局部特征的结构相似性损失(SSIM Loss)和基于语义的上下文损失(Contextual Loss)作为目标函数训练网络,使网络从结构和语义方面约束图像的重建,从而得到纹理细节更清晰,结构更准确的人脸图像。(2)本文发现原先使用人脸解析图PM的网络进行解析图提取的人脸图像过于粗糙,并不能准确的提取解析图,基于此情况,提出一种基于人脸解析图的重建算法--PM-SC-GAN网络。该网络使用SC-GAN中的生成网络作为初始重建网络,得到略清晰的图像,并将其分别输入解析图提取网络和特征提取层,将得到的人脸解析图与人脸特征拼接在一起作为后续重建网络的输入。这种方法比直接从粗糙的人脸图像中提取人脸解析图的准确度更高,也能更好的辅助生成网络重建出质量更好的人脸图像。综上所述,本文主要从网络结构和先验知识两方面对FSR技术进行改进,该方法首先对低分辨率图像信息的利用率更高,其次对人脸先验知识的应用更准确,可以实现细节更清晰的人脸图像的重建,具有更好的应用前景。