论文部分内容阅读
随着科学技术的快速发展,图像作为信息传递的重要载体,已深入到人们的日常生活中并发挥着重要作用。然而,由于受到成像设备和外部环境等不利因素的限制,所获取的图像往往会存在不同程度的模糊与噪声等退化现象,严重影响了人们的视觉体验与后续的高层模式识别应用。虽然通过改进成像系统中的物理设备可以提升图像分辨率,但是该方法经常会受到成本与应用场景的限制。图像超分辨率重建技术作为一种以软件手段增强图像分辨率的方法,它能够在不更新成像设备的前提下,以较低的成本提高图像的清晰度,现已被广泛地应用于遥感观测、医学成像、生活娱乐以及视频监控等方面,引起了国内外学者的广泛关注。本文围绕单幅图像超分辨率重建问题展开研究,通过采用基于学习的方法,从大量的外部数据中学习出低分辨率图像到高分辨率图像之间的映射关系。与此同时,在超分辨率重建的建模过程中还引入了新的研究内容,如高分辨率图像信息、注意力机制等。论文的主要研究成果如下:(1)提出了一个基于高分辨率信息指导锚定邻域回归的单幅图像超分辨率模型,可有效减轻不相似高分辨率图像块对超分辨率重建性能的影响。在经典的基于调整锚定邻域回归的单幅图像超分辨率算法中,有一个重要的假设条件:低分辨率图像块相似则对应的高分辨率图像块也相似。因此在邻域回归中,高分辨率图像块与低分辨率图像块可以共享相同的表示系数。但是由于超分辨率是一个不适定问题,即一个低分辨率图像可以由不同的高分辨率图像退化而来,所以可能会导致不相似的高分辨率图像块在邻域回归中具有较大的表示系数,最终造成超分辨率重建性能的下降。为了缓解上述问题,本文提出了一个基于高分辨率信息指导的锚定邻域回归模型,该模型通过将高分辨率相似性调整权重引入到高分辨率图像块的表示系数中,以此来降低非相似高分辨率图像块的影响。实验结果证明了该方法的有效性,能够在不增加时间复杂度的基础上重建出更好的超分辨率图像。(2)提出了一个基于多粒度注意力网络的单幅图像超分辨率模型,充分挖掘了不同尺度与稠密卷积层之间的特征信息并在特征学习中引入了多粒度注意力机制。近年来,基于深度卷积神经网络的图像超分辨率方法引起了广泛的关注,显著地提升了图像重建性能。然而,该类方法的网络模型通常仅通过简单地堆积卷积层方式来追求网络精度的提升,并没有充分考虑到图像本身的一些性质,如:多尺度特征等,严重限制了模型潜能的挖掘。为此,本文提出了一个基于Inception结构的多尺度网络模型,有效地提取了图像的多尺度特征信息。同时,还将稠密跳跃连接机制引入到多尺度模型中,进一步提高了卷积层之间信息的传递效率。此外,为了增强网络的鉴别性表示能力,本文构建了一种多粒度注意力模型,该模型可以在不同模块大小下依据周围邻域的信息对每个位置的特征进行自适应的调节,且对于之前方法中所提的通道注意力与空间注意力可以看作是本文注意力机制的两种特例。实验结果表明该方法在主、客观评价方面均优于一些现有的超分辨率方法,能够重建出具有锐利边缘与更多纹理细节的高分辨率图像。(3)提出了一个基于金字塔稠密注意力网络的图像超分辨率算法,以有限的模型参数改善了超分辨模型的特征学习效率。对于传统的稠密连接网络,每个稠密卷积层的输入特征数随着网络深度的增加而逐渐提高,但相应的输出特征数却是固定的,这将不利于网络模型性能的提升。为此,本文提出了一种金字塔式稠密连接结构,该结构具有可变化的特征增长率,即随着网络模型深度的加深,卷积层的输出特征数也随之提高。同时,为了控制模型的参数量,本文采用了一种具有自适应基数的分组卷积方法,不同于传统的分组卷积,在自适应分组卷积过程中每个网络层的卷积分组数随着网络深度的加深而逐渐增多,有效降低了模型参数的数量。此外,为了进一步增强模型的表示能力,本文还构建了一种联合注意力机制,改进了之前所提注意力模型中空间注意力与通道注意力之间缺乏有效交互的缺点。实验结果表明,所提算法优于其他一些现有的图像超分辨率方法。(4)提出了一个基于反馈金字塔注意力网络的单幅图像超分辨率模型,通过引入反馈调节与金字塔非局部结构,增强了深度网络模型的表示能力。得益于深度学习强大的学习能力,图像超分辨率得到了快速发展。但是,目前基于深度神经网络的超分辨率重建方法通常只采用前向(Feedforward)网络传播方式,并没有考虑到深度特征信息对于浅层特征的反馈调节作用,即人类认知理论中的反馈调节机制(Feedback Mechanism),限制了网络特征的表达能力。为此,本文提出了一种基于反馈连接结构的单幅图像超分辨率模型,该模型通过将网络第一阶段每个卷积层的输出当作第二阶段中对应卷积层的输入,从而实现对低层卷积信息反馈调节。此外,为了克服传统卷积的局部连接特性,引入了金字塔非局部网络结构来获取不同特征尺度下的非局部上下文信息,进一步增强网络的鉴别性表示能力。实验结果表明,与一些现有的超分辨率算法相比,该模型能够重建出较好的超分辨率图像,且对于不同的图像退化模型具有一定的鲁棒性。