论文部分内容阅读
数字图像修复因其在图像、视频编辑等方面的广泛应用,成为了计算机视觉领域的一项重要研究内容。它是对图像或视频中信息缺损区域进行信息填充的过程,其目标是尽可能地保证修复质量,使观察者找不出修复的痕迹,也就是保证修复结果中含有合理丰富的细节信息并保持整体结构的连贯性。数字图像修复的有效途径是在修复过程中引入关于图像的先验信息,利用数学方法建立先验模型,并依据先验模型求解缺失区域的信息。目前该领域已经有很多方法被提出,主要包括基于变分PDE模型的方法、基于样本的方法、基于变换域的方法、基于深度学习的方法等,其中基于样本的方法在大区域破损图像修复中取得了较好的结果,新兴的基于深度学习的方法在图像语义修复中取得了好的结果。为了充分利用不同方法的优点,基于图像分层处理后的混合方法也被广泛研究。本文将围绕这三类具体方法中的关键问题展开研究,并针对各类方法存在的一些问题提出了相应的改进算法以提升图像修复的质量。主要工作如下:(1)提出了一种基于样本块偏移匹配的图像修复方法,该方法针对传统的基于样本块匹配方法因匹配错误累积容易造成修复结果失败的问题,通过两方面的策略进行改进。首先在样本块优先级确定时,仅计算样本块的数据项以确保修复结果中结构特征的连贯性,同时通过标记方式使修复过程沿破损区域由外向内逐层修复以保证修复过程的可信度。其次,对高优先级的样本块进行块偏移,避免存在大量未知像素点的样本块被处理,减少了因匹配错误造成错误的不断累积。实验结果表明该方法在复杂场景图像修复时,特别是存在大区域信息缺失时,可以在实现图像中主要结构连贯修复的同时,很好地修复图像中的纹理细节。(2)提出了一种基于多损失函数训练的深度学习图像修复方法,该方法基于卷积自编码器深度学习网络实现图像的修复,在网络结构中添加编码-解码对应层间的跳跃式连接为修复区域生成提供更多的底层图像特征,在网络的训练过程中包含了2L距离损失、修复区域对抗损失及修复后整个图像的对抗损失以确保修复后图像具有全局一致的视觉特性。实验结果表明该方法一方面具有深度学习修复方法本身具有的高层语义修复能力,另一方面可以使修复结果中的轮廓结构和细节信息更加合理。(3)提出了一种自适应局部拉普拉斯滤波器用于图像保边细节处理。首先,该方法通过改进的高斯核加权扩展拉普拉斯算子提取图像局部变化表示,其次,通过获取的表示自适应地设置局部拉普拉斯滤波器的参数进行图像滤波处理。实验结果显示该方法在图像细节平滑、图像细节增强等应用中取得了好的结果。(4)提出了一种基于图像结构成分计算样本块优先级的方法。该方法在自适应局部拉普拉斯滤波器对图像结构成分和纹理细节成分分层处理的基础上,对基于样本块匹配图像修复方法中的数据项计算方法进行改进,即通过原图像和分解得到的图像结构成分加权计算数据项的值,实验结果显示通过这种策略可以提高数据项对结构特征的表征,使修复结果图像中的结构特征更加连贯。