论文部分内容阅读
随着信息时代的飞速发展,数字图像因其优良的特质而逐渐成为了人们传递信息的最重要载体,并且日常应用十分广泛。就数字图像而言,空间分辨率是衡量其质量的一项重要指标。然而,在实际成像过程中,由于受到光学成像系统的物理限制以及各种退化因素的影响,所得到的图像往往分辨率较低,给后续的图像处理、图像分析带来了更多困难,不利于准确地理解图像中包含的客观信息。因此,寻求一种有效地提升图像分辨率的方法显得尤为重要。图像超分辨率重建技术正是解决上述问题的一种有效手段。该技术可以通过图像处理方式,克服现有成像系统的固有约束,提高低分辨率图像分辨率。正因如此,超分辨率重建技术受到了国际学术界和商业界的极大关注,是现今图像处理领域最热门的研究课题之一。近年来,稀疏表示作为一种新型有效的图像模型,为解决单幅图像超分辨率(Single image super-resolution,SISR)重建问题注入了一股新的活力,是当前最热门的研究方向之一。面对这种新的机遇和挑战,本文围绕当前备受关注的基于稀疏表示的图像超分辨率重建模型展开研究,针对现有重建模型中的不足,提出了若干改进方案。论文的主要研究内容如下:(1)对现有基于稀疏表示的超分辨率重建模型进行分析。首先,针对单幅图像建立退化模型,并通过对退化过程中的多种退化因素进行分析,推导出超分辨率重建问题的不适定性。再经对这种不适定性的分析,得出额外引入信号稀疏性先验的必要性。随后,阐述了信号稀疏表示理论,以及基于稀疏表示的SISR重建模型。最后,重点分析并指出了这种模型在处理SISR重建问题时,在关于“字典学习”、“稀疏编码”、以及“模型效率”等三个方面的不足,为后文研究提供理论依据以及改进思路。(2)字典学习是在稀疏表示框架下解决超分辨率重建问题的关键性步骤之一。针对现有稀疏字典几何刻画能力不足、结构冗余的缺点,首先提出了一种基于几何特征的字典学习与分配方法。这种方法可以通过所设计的图像主方向估计算法对训练图像进行基于几何特征的聚类,从而能够对图像中的几何先验进行有效归类和利用,提升后续生成字典的刻画能力。同时,为了精简生成字典的结构,该方法摒弃了传统的全局超完备字典模式,转而利用PCA技术分别对每个几何子类进行基于主元向量的特征提取,以此构成该子类的几何字典。而对于稀疏编码过程中的每个输入图像块,根据最近邻原则仅将与其最接近的子字典分配给它进行编码操作,进一步简化了编码运算。其次,考虑到传统的稀疏表示模型对图像梯度信息约束能力有限,还研究了一种基于几何梯度一致性约束的算子,并将其作为额外的保真约束融入上述模型中,进一步提高重建模型的几何约束能力。实验结果表明,无论从客观评价指标还是视觉效果上,本文所提模型都明显优于现有同类型的方法。(3)在稀疏编码过程中产生足够精确的编码系数是稀疏表示模型正确解决超分辨率重建问题的前提和基础。然而,由于图像退化过程的复杂性,使得目前从严重退化的数据中尽可能精确地恢复理想的稀疏系数仍然充满了挑战。为此,提出了基于稀疏编码误差补偿的模型研究策略。首先,对稀疏编码噪声进行综合分析,以此验证引入稀疏编码误差补偿的必要性。随后,受图像自相似去噪理论和图像多尺度冗余现象的启发,提出了一种基于多尺度冗余稀疏表示的超分辨率模型。该模型可以在稀疏编码过程中利用多尺度图像空间中的冗余信息来对稀疏编码误差进行补偿,以此提高稀疏编码的准确度。进一步,考虑到在多尺度空间中进行信息搜索的计算复杂度,又在上述提出方法的基础上另行研究了一种改进的基于双向对齐稀疏表示的超分辨率重建模型。该模型转而使用双向自相似性构建一对具有补偿作用的正则项,并将这对正则约束用于对稀疏编码误差的补偿操作中,以此抑制稀疏编码噪声。实验结果表明,本文提出的基于稀疏编码误差补偿的改进思想能够很好地提升稀疏表示模型的重建性能以及对不同退化因子的鲁棒性。(4)针对由于传统稀疏表示理论中的固有不足而造成的模型效率低下问题,制定了深度学习与稀疏表示相结合的模型优化策略。在深入分析现有基于深度残差学习的超分辨率重建模型的基础上,提出了一种新型的网络学习方式:成分学习,并据此构建了一种基于深度成分学习网络的超分辨率重建模型。这种学习策略的核心思想和不同之处在于使用从低分辨率输入中提取的残差来预测相应输出中的高分辨率对应物。为此,我们利用卷积稀疏编码技术设计了一个全局分解模块,并利用它从输入中提取其残差分量。归功于这种全局分解的特性,所表示的残差分量仍然停留在低分辨率空间,使得后续网络部分的执行效率大大提升。最后,通过大量实验验证了所提出的成分学习思想的有效性和优越性,并且最终训练得到的网络模型能在运算速度和重建质量方面均优于现今许多主流的方法。