图像超分辨率和图像修复是图像处理领域的基础问题,其目标在于构造满足人类视觉感知的高质量图像。由于图像在采集、传输及保存过程中受到诸多退化因素的干扰,导致所得图像分辨率较低或内容缺损,进而影响人类对于图像内容的准确理解以及计算机对图像特征的提取。图像超分辨率旨在针对低分辨率图像,构造其对应的高分辨率图像,增加像素数目及高频信息,使图像具有清晰的边缘及有序的纹理,以展示更多的图像细节。图像修复的研究目标为填补图像中丢失的信息或者去除图像中的遮挡物体,使得修复之后的图像满足人类的视觉感知,修复痕迹不易被察觉,边缘保持连续且平滑,纹理保持一致及有序。图像超分辨率与图像修复的研究目标均为对退化图像进行视觉优化,重建图像中的缺失信息。二者在医学、太空项目、考古学、工业界及人们的生活中有着广泛的应用。作为图像处理中的不适定(ill-posed)问题,图像超分辨率和图像修复的研究面临一系列问题和挑战。首先,对于超分辨率问题,相对于低分辨率图像,构造高分辨率图像需要增加的像素数目远远多于已知低分辨率像素数目,并且需要增加高频信息以提升图像的清晰度;其次,图像修复需要对图像的内容有一定的理解,不同于人类具有高级的视觉感知系统,计算机无法直接理解图像内容,因而对于复杂的场景或者较大的修复区域,无法以明确的数学模型推断图像的缺失内容。本文围绕图像超分辨率和修复问题中的研究热点和难点展开研究,提出基于图像特征及实例的处理方法。新方法能够充分利用图像中的边缘特征及自相似特征,对未知信息进行合理的判断。主要工作包括:1.提出了特征约束的多实例图像超分辨率方法。图像边缘的几何正则性是图像中重要的视觉特征,自相似性是图像中普遍存在的统计特征,本方法将两个特征作为先验知识构建高分辨率图像。首先提出边缘特征约束的多项式插值方法对输入图像进行初始放大,使得初始高分辨率图像能够保持边缘、纹理等结构特征。然后,基于同一幅图像不同尺度之间的相似性,提出自适应KNN搜索方法,学习已知高、低分辨率低频图像对之间的多实例回归关系;在高频空间,应用多实例回归关系推断高频信息。其中,最近邻数目K由图像块特征自适应决定。实验结果表明,新方法构造的高分辨率图像结构清晰、纹理有序。2.提出了基于非局部特征的迭代反投影图像超分辨率方法。高分辨率图像降质之后的低分辨率图像和输入低分辨率图像之间的差被称为重建误差,本方法以最小化重建误差为目标方程,通过将重建误差各向异性迭代反投影到高分辨率图像求解目标方程的解。为了优化初始高分辨率图像,并引导重建误差的各向异性传播,设计了一种高效的非局部特征插值方法。在插值方法中,边缘信息被用作约束,使插值曲面保持更好的形状。此外,利用非局部相似性去除由误差传播引起的噪声和不规则性。通过结合图像边缘及自相似性,有效地约束了解空间,并引导目标方程收敛于保持特征的解。实验结果表明,提出的方法在量化指标和视觉质量方面均取得了更好的效果。3.提出了基于超像素和简单语义分割的图像修复方法。图像修复方法通常利用已知的图像数据推断未知信息,因此,信息来源的可靠性是影响修复效果的关键。本方法利用图像结构的稀疏性定义修复顺序的优先权,以由外向内、结构区域优先的顺序进行修复。通过位置约束的距离公式搜索源区域中的相似实例,采用实例中的信息填补未知区域。对图像进行超像素分割,以区分不同的色彩或纹理;借助用户提供的分割点对图像进行简单的语义分割,将相似实例来源限制在同一语义区域内的邻接超像素。通过对实例来源的限制,提高了修复信息的可靠性,并且极大地提升了相似实例的搜索效率。实验结果表明,新方法能够保持边缘的连续性以及同一语义区域内色彩及纹理的一致性,避免了边缘中断及纹理跨界现象的产生,修复后的图像具有较高的视觉质量。