论文部分内容阅读
受到图像采集设备和采集环境的影响,采集到的图像常常会出现质量降低现象,导致采集到的图像无法使用的现象。图像复原技术主要研究通过算法手段对失真的图像进行复原,提高资源利用率。主要的图像复原技术有:超分辨率重建、图像去噪、图像去雨、图像去雾和图像补全等。超分辨率复原旨在利用经过下采样的低分辨率图像通过一定的算法进行高分辨率重建的技术。作为图像复原的核心技术之一,超分辨率重建常被用作诸如目标检测、人脸识别等高级视觉任务的前序步骤。在日常生活中,超分辨率重建常用在卫星图像、医学图像和监控安防等领域中。鉴于超分辨率重建是基于有限的信息(低分辨率图像)对图像放大并进行额外的信息补全的过程,该任务是一个典型的病态求逆问题。随着近几年深度学习技术的发展,当下主流的超分辨率重建方法是通过构建一个较深的网络模型并使用大量样本对模型进行训练,从而达到更高的超分辨率重建效果。而这些方法中,大多数存在网络模型冗余、网络中特征利用率低的问题。本文从模型压缩和提高卷积特征复用性两方面出发研究单张图像超分辨率重建任务。文中所述基于深度学习的超分辨率重建模型均达到了当前前沿水平。首先,本文构建了一个拥有稠密连接的多分路网络模型,使用更复杂的网络结构合理高效地利用模型中的卷积特征,从而实现单张图像超分辨率重建。通过组合来自不同级别的特征图,该模型可以充分利用输入的先验信息,在恢复高分辨率图像时考虑更多的上下文语义信息。大量实验表明该模型结构能够在使用更小的模型存储空间的前提下达到当下超分辨率重建的前沿水平。然后,本文从模型压缩的角度出发,提出了一种基于递归网络的超分辨率重建模型。该递归模型引入了局部残差和全局残差的概念。局部残差结构通过递归模块学习基于初始特征的残差;全局残差结构则通过最后的卷积层重建出基于网络输入的残差。在递归模块中,使用了三分路卷积连接进行特征映射。引入三分路卷积中1X1卷积在压缩输入特征的同时减少了模型参数量。另外,在递归结构中引入权重共享机制,进一步压缩了模型参数。实验表明,该模型结构能够使用极少的参数量达到目前超分辨率重建的顶尖水平。最后,本文分析并总结了现有的基于深度学习的图像超分辨率重建模型的共同特点及局限性,提出了具有更高网络特征利用率的压缩激励网络模型。模型假设不同深度的卷积特征或相同深度但不同通道的卷积特征对高分辨率图像的重建有不同的贡献,模型引入了估值网络对模型中产生的卷积特征进行重要性评估并对卷积特征进行调整。同时,稠密连接的网络结构能够极大限度地复用卷积特征并保证在构建深层网络模型时能够正常训练。该模型将位于网络不同层级的卷积特征同时输入到残差重建层对网络的初始特征进行残差重建,增强了残差模块与网络各层级之间的关联。大量实验表明,该模型在常用的图像复原评价指标PSNR和SSIM上能够达到顶尖水平的同时,对与含有复杂纹理的图像的超分辨率重建任务具有较高的鲁棒性。