论文部分内容阅读
数字图像修复技术利用图像中的已知信息,根据一定的填充规则对丢失信息进行修补,达到视觉上合理的效果,并使观察者看不出图像曾经破损或者已被修复。图像修复技术的本质是利用不完整信息来重构出完整信息,这是计算机视觉领域一个梦寐以求的目标,同时也是许多其他图像处理技术需要处理的问题。研究数字图像修复技术对于计算机视觉问题具有重要的理论研究意义以及广阔的应用前景。基于样本块的图像修复算法因其在小区域破损修复尤其是大区域破损修复上的优越性能,受到了越来越多的关注。根据修复方式不同可将基于样本块的方法划分为基于匹配的方法和基于马尔科夫随机场(Markov Random Field, MRF)的方法。本文从图像的结构稀疏性着手,探究如何利用合适的先验信息指导图像修复过程,以保持修复后图像结构部分的连贯性及与邻域信息的连续一致性。针对这两类算法提出了一些新的方法和解决方案,并且从理论和实验的角度分析和验证了新算法的有效性和适用性。本文的主要工作和研究成果如下:一方面,在基于匹配的方法中围绕结构稀疏度函数的定义展开,同时考虑匹配准则和局部连续一致性约束等因素,提出了三种算法,旨在保持修复后图像结构部分的连贯性,与邻域信息的连续一致性及结构纹理信息的清晰性。具体为:1、提出基于鲁棒结构稀疏度的自适应图像修补算法。首先利用样本块与其邻域内已知块间非零相似度个数定义鲁棒结构稀疏度函数,以更好的度量样本块位于结构部分的置信度高低。根据鲁棒稀疏度值自适应选择当前待填充块的尺寸,邻域一致性约束权重大小以及搜索区域窗口的尺寸,并根据实验结果选择合适的参数。最后实验验证了鲁棒结构稀疏度定义的有效性,同时提出算法可以大幅度地提高计算效率。2、为提高对结构纹理破损图像的修复性能,提出结合颜色和梯度信息的样本块稀疏性图像修补算法。引入梯度信息定义加权颜色-梯度距离来构造合适的匹配准则;在此基础上构造颜色-梯度结构稀疏度函数以保持结构部分的连贯性;在颜色和梯度空间内构建局部连续一致性约束方程,将根据加权颜色-梯度距离寻找到的多个匹配块在此约束条件下稀疏表示当前待填充块以保持修复区域内的连续性。根据实验分析确定不同图像中颜色和梯度信息所占的比例及候选匹配块的个数。3、受超小波变换的启发,且为利用更丰富的信息指导图像修复过程,提出联合多方向特征的样本块稀疏性图像修补算法。首先利用超小波变换估计待修复图像的多方向特征,并将其与颜色信息融合共同衡量样本块之间的差异性;而后构造颜色-方向结构稀疏度函数以更好的衡量样本块位于结构部分的置信度高低;最后在颜色和多方向空间内建立局部连续一致性约束方程,使得稀疏表示信息在颜色和方向上均与目标块保持一致性。另一方面,因基于匹配的方法不能很好的修复富含随机纹理特征的图像,且存在误差累积现象。从结构稀疏性着手,在基于MRF的样本块修复算法中围绕合理的全局能量优化方程构造和合适的候选标签选择等方面,提出了两种算法。1、针对构造合适的全局能量优化方程,提出联合多方向特征的图像修补算法。首先利用超小波变换提取待修复图像的多方向特征,并将多方向特征信息应用到数据项和平滑项的度量中去,以构造更符合人眼视觉要求的全局能量约束方程;并采用多分辨层方法求解全局能量极值,并自适应确定不同分辨率层上计算数据项和平滑项能量的样本块尺寸;利用图割算法求解全局能量极小值,得到修复后图像。2、从人眼视觉出发,探讨如何确定合适的先验信息以指导图像修复过程,提出基于所需方向结构特征统计的图像修补算法。首先利用超小波变换估计待修复图像的多方向特征信息,并分别提取其边缘特征图像;破损区域周围的结构信息应是指导图像修复过程所需的方向信息,提出方向结构分布方法来自适应选择指导图像修复过程所需的方向边缘图像;在选择出的方向边缘图像和非边缘图像中统计相似样本块间的偏移映射,仅选择少数占统治地位的偏移映射作为候选标签来指导图像修复过程;利用选择出的标签根据图割算法来求解全局能量极值,获得修复后图像。