论文部分内容阅读
图像超分辨率重建旨在利用一幅或者多幅低分辨率图像恢复出高分辨率图像,近年来已发展成为计算机视觉领域的研究热点之一。目前,基于学习的超分辨率重建方法借助额外训练样本来学习先验以降低超分辨问题的病态性,取得了较好的效果,如基于稀疏编码与基于邻域嵌入的方法。然而,这些方法仅在图像的初级特征空间上求解稀疏编码系数和学习嵌入空间,使得稀疏性与流形假设难以严格满足,直接导致了图像重构质量的下降。本文针对该问题,研究面向超分辨任务的图像深层特征表示、邻域精准选择以及复原目标函数构造等问题,具体工作包括:1.设计了基于深度度量学习的图像超分辨重建方法。为了获得具有更高近邻保持率的特征空间,将深度学习和度量学习相结合,以训练样本中高分辨率图像块之间距离信息定义度量学习的目标函数,通过深度神经网络学习出新的度量空间,在该空间上图像块之间的近邻保持率有了较大提升。在度量空间上通过稀疏多流形嵌入的方法进行重建:假设图像块存在于多个相似的流形结构中,通过求解一个稀疏优化问题,自适应地得到与图像块处于同一个流形结构中合适数目的近邻。由于度量学习的引入,特征空间与原始空间所在的流形结构更加一致。实验结果表明:本方法对图像超分辨率重建结果较传统的邻域嵌入方法在PSNR上有大概1.5d B的提升。2.设计了基于稀疏自编码网络与极速学习的图像超分辨重建方法。考虑到深度学习模型的高训练复杂度,首先使用稀疏自编码网络来提取低分辨率图像块的高级稀疏特征,然后利用极速学习机的快速通用逼近能力训练网络,将提取到的非线性特征投影到高分辨率像素空间,恢复高分辨率图像。由于高级稀疏特征更能体现出图像块的本质属性,恢复出的图像具有较为清晰且丰富的高频细节。实验结果表明:本方法在视觉效果和数值指标上均取得了不错的效果,恢复的图像纹理更清晰,细节更丰富。3.设计了基于深度残差网络的图像超分辨重建方法。传统的图像超分辨率重建方法的目标函数主要集中在最小化均方误差,通过求解这种优化问题得到的重建图像具有较高的峰值信噪比,但是缺少主观上令人满意的高频信息。考虑到深度残差网络优异的学习性能,设计了一种新的深度残差网络模型用于图像超分辨率重建。这种方法更有效地利用图像感知域中的信息,减轻了模型训练的难度,同时选取由预训练的VGG19网络产生出来的特征构造具有感知意义上的损失函数,使得重建结果在视觉上更加真实可观。实验结果表明:本方法较传统方法在视觉上有了较大的提升,恢复出来的图像更清楚,细节更丰富。