人脸超分辨率研究是计算机图形学和视觉领域的一个研究热点,在安防监控、无人机成像、压缩重建等方面有着广泛的应用。人脸图像的分辨率代表了图像的辨识度,高分辨率的图像往往具有更丰富的信息。然而在实际的应用中,由于设备缺陷、文件压缩等因素,使得获取的人脸视频和图像分辨率较低,通常很难明确地辨别出对象的具体特征。同时,单一地提高硬件设备质量会导致较高的成本,因此,通过软件算法提高人脸图像的分辨率,恢复和增强图像的视觉效果,具有重要的理论价值和广阔的应用前景。近年来,深度学习技术得到了快速发展,伴随着大数据时代的到来,卷积神经网络也为人脸图像的超分辨率带来了新思路。相比于基于插值和基于流行学习的人脸超分辨率算法,基于深度学习的人脸超分辨率算法能自动学习特征提取的过程,增强超分辨率模型的泛化能力,具有更大的潜力和适用性。本文对基于卷积神经网络的人脸图像超分辨率算法展开较为系统的研究,结合人脸图像结构性强、特征分化的特点,对卷积神经网络的结构和训练方式进行优化,从人脸图像内容特征感知与融合、基于递进优化的人脸超分辨率两个方面探索新的方法,以提高人脸超分辨率重建的效果。本文的研究内容及主要贡献为:(1)提出了一种基于内容感知的人脸特征表示方法,丰富了人脸图像的语义特征,提升了神经网络的非线性拟合能力。针对非限制场景下人脸图像的多姿态、多角度因素为神经网络模型带来难以拟合的问题,使用基于语义特征内容感知的图像融合方法,丰富了原始图像的信息,增强了重建的效果。(2)提出了一种基于递进优化的人脸超分辨率算法,改进传统神经网络端到端的训练过程,将传统大倍数的超分辨率分为多个小倍数的超分辨率重建过程,级联以获得最终结果,从而为超分辨率重建添加更多的中间特征约束,增强了模型的泛化能力,更好地避免过拟合,提高超分辨率的性能。综上所述,本文将从人脸图像的语义特征感知与融合、递进式卷积神经网络优化两个方面展开研究,为基于单幅人脸图像的超分辨率提供新的理论和方法,形成了初步的人脸超分辨率重建系统。其次,本文对递进式网络的结构和方法进行了进一步的思考,考虑使用共享参数的子生成神经网络作为多级超分辨率的生成模型,循环多次从而计算出高分辨率图像,将在以后的工作中继续研究。本文的方法也可用于其他图像增强任务中,例如灰度图像着色,图像去噪声等。