论文部分内容阅读
在实际应用场景中,图像的采集受到成像系统和成像环境的限制,使得人们难以获得理想的高分辨率(HR,High Resolution)图像或图像序列。图像超分辨率(SR,Super-Resolution)重建技术由于其成本低廉且能有效地将低分辨率图像重建为高质量的高分辨率图像而备受关注,现已广泛应用到众多领域,如人工智能、视频监控、遥感成像等领域。近年来,深度学习在图像超分辨率重建领域取得了重大突破。多数基于深度学习的图像超分辨率重建方法通过学习一个端到端的网络来拟合高分辨率图像和低分辨率(LR,Low Resolution)图像之间的映射关系,从而获得在视觉上令人满意的图像。本文针对基于深度学习的图像超分辨率重建方法进行了深入研究,并提出了两种基于多尺度特征融合的图像超分辨率重建方法。 本文针对现有方法仅通过提取图像的单尺度特征来学习映射关系,而导致重建图像时所需的部分关键信息丢失的问题,提出了一种结构化稀疏的多尺度特征融合网络用于图像超分辨任务。此网络的核心组成部分是多尺度特征融合模块,该模块用于提取图像中不同尺度的特征,有利于获得图像更完整的结构和上下文信息。该网络采用多个多尺度特征融合模块级联的结构以更准确地拟合高低分辨率图像间的映射关系。这种多尺度特征融合网络可以获得更高质量的重建图像。但是这种网络的结构较为复杂,参数规模较大,使得网络训练变得困难。在增大计算消耗的同时,降低了网络重建图像的速度。为了解决这个问题,采用了一种网络压缩的策略,对多尺度特征融合网络中的参数进行了结构化稀疏,去除了网络中的冗余参数,从而提升了网络重建图像的速度。并且由于稀疏表示在图像超分辨任务中的有效性,结构化稀疏的多尺度特征融合网络的性能得到了进一步的提升。实验结果表明,该算法的性能高于当前很多先进的图像超分辨率重建算法。 由于以上提出的结构化稀疏的多尺度特征融合网络较为复杂,本文接着提出了一种具有简单结构的单核多尺度特征融合网络。利用深度卷积神经网络中各卷积层输出图像的尺度均不同的原理,将不同卷积层输出的特征进行融合得到多尺度特征,充分挖掘隐藏在多尺度特征中的信息,以获得质量较高的重建图像。这种方法有效降低了网络的复杂程度。实验结果表明,该方法在保证了重建图像质量的前提下,大幅提升了网络重建图像的速度。