论文部分内容阅读
由于数字图像采集设备体积、重量以及成本的限制,采集到的图像分辨率较低,这极大地降低了图像的清晰度。同时,人们对于高清晰度图像的需求日益增加。图像超分辨率是解决该需求的主要方法,其目标是通过算法将低分辨率图像重建为高质量的高分辨率图像。近年来,许多超分辨率算法利用大量的训练数据和复杂的深度神经网络来提高其重建性能。然而,仅有少数方法关注到了多尺度结构在分离和重建不同频率信息上的应用,同时大部分算法忽略了先验信息对于图像超分辨率重建的指导作用。对此,本文研究了多尺度子网络结构和图像先验信息在图像超分辨率重建任务上的应用,并开展了以下三个工作:(1)本文通过分析现阶段基于卷积神经网络的超分辨率算法,发现大量的深度模型使用残差连接和密集连接的方式来增加网络的深度以提升重建性能。这些方法往往采用单一尺度的网络模型进行特征信息的提取,存在特征提取过程中没有将高频信息和低频信息有效地进行划分的问题,而重建出低分辨率图像缺失的高频信息正是超分辨率任务的关键难点。为此,本文提出一种多尺度子网络模型,使用不同深度和尺度的子网络对图像中不同频率的信息进行提取和重建,同时利用自适应融合模块来提升不同频率信息的融合效果。(2)为了证明图像先验信息对于超分辨率任务具有指导作用,本文提出一种结合图像描述信息的超分辨率模型。该模型基于条件生成式对抗网络,同时将图像描述信息和低分辨率图像作为网络模型的输入,在生成器和判别器中均加入了图像描述信息以克服低分辨率图像有效语义信息缺失的问题。此外,该模型通过正负样本损失函数来增加重建图像和描述信息之间的关联性。(3)本文将人脸属性信息输入到人脸图像超分辨率模型中,以指导低分辨率人脸图像的重建,并提出结合人脸属性信息的图像超分辨率方法。与现有的人脸图像超分辨率方法不同,该方法将自编码器提取的面部结构信息和属性信息进行融合,同时通过残差连接和密集连接的结构克服深层神经网络训练过程中梯度消失的问题,从而构建了深层次的人脸图像超分辨率模型。以上三个工作所设计的网络模型,在测试数据上重建的超分辨率图像与现有主流超分辨率方法的结果相比,在客观评价指标和视觉观察上均有一定提升,并且相应的模型组件消融实验和分析实验进一步论证了模型的有效性。最后,本文所提出的三个基于神经网络的方法,提升了超分辨率重建的精度和感知度,具有一定的研究价值。