论文部分内容阅读
图像修复的主要任务是根据图像己知信息来重建缺失内容,使观察者无法察觉到图像曾经被破坏过。作为计算机视觉研究领域的一项重要内容,图像修复因其在数字文化遗产保护,图片/视频再编辑,电视/电影后期制作等行业中具有的重要应用价值而被广泛关注。
传统技术上,依据图像像素间的相关性和内容相似性,人们主要采用基于数学和物理的方法来实现图像修复。随着深度学习技术在学术界和工业界的飞速发展,尤其是各种生成网络的出现,利用深度学习实现图像修复成为了研究的热点并取得了众多突破性的进展。图像作为结构化数据,必然存在上下文语义,而基于深度模型的图像修复被证实能通过有效地提取图像语义特征信息来生成修复图像。具体研究中,如何增强深度模型对图像语义特征的表达能力,以提高修复图像的结构连贯性、纹理一致性以及语义完整性是研究的焦点。同时,针对于随机破损图像的修复,保证修复质量,降低模型复杂度,提高模型的泛化能力也变得至关重要。总的来说,基于深度模型的语义图像修复仍然是一个十分有挑战的研究课题。
本文针对现有图像修复工作中依然存在的修复内容模糊、语义不明确及深度模型复杂,模型泛化能力不强等问题展开研究。论文的主要工作和创新点如下:
1)提出了一种基于密连接生成网的语义图像修复算法。图像修复本质上是依据图像的己知先验知识来推测图像的真实数据分布,因此,如何更准确有效的提取图像隐层特征表达以获取完备的先验知识是决定修复图像质量的关键。我们提出通过建立多组由层级间密集跳跃连接的深度编码一解码生成网络,将图像的浅层信息和深层信息有机融合,同时保持图像空间信息,实现深度挖掘图像语义特征表达的目标。文中引入训练更稳定的WGAN-GP模型,实现从数据逆变换采样成伪概率分布的目标,以获得更加真实的修复图像,通过端到端的对抗训练方式,实现模型的自我优化过程。在图像修复研究领域两个公有数据集ImageNet和ParisStreetView上的对比实验结果表明该算法从主观和客观评测上都取得了更优的修复结果。
2)提出了一种基于自洽正则化的语义图像修复算法。深度网络通过对大样本学习建立线性或非线性的映射关系来对真实数据分布进行拟合。其中,泛化能力一直是机器学习中模型评估与选择的重要指标。在实际应用中,修复模型输入往往是一幅随机破损图像,这种随机性要求模型应具有较好的泛化能力和鲁棒性。为了降低模型复杂度,我们提出将自洽正则化引入到图像恢复工作中,对生成网络输入具有不同扰动的同源图像数据组,通过自洽约束减小输出图像间的误差损失,使网络输出保持一致,以此来提高模型对随机破损图像修复的泛化能力。
3)本文利用同源图像间的自洽性,通过保持同源数据在隐层空间特征表达的自洽一致性来进一步增强模型对图像的语义特征表达能力。文中在图像修复模型中引入自洽正则化机制,并与基准模型以及当前最优的修复算法得到的修复图像分别进行质量对比,验证了所提方法的有效性。
传统技术上,依据图像像素间的相关性和内容相似性,人们主要采用基于数学和物理的方法来实现图像修复。随着深度学习技术在学术界和工业界的飞速发展,尤其是各种生成网络的出现,利用深度学习实现图像修复成为了研究的热点并取得了众多突破性的进展。图像作为结构化数据,必然存在上下文语义,而基于深度模型的图像修复被证实能通过有效地提取图像语义特征信息来生成修复图像。具体研究中,如何增强深度模型对图像语义特征的表达能力,以提高修复图像的结构连贯性、纹理一致性以及语义完整性是研究的焦点。同时,针对于随机破损图像的修复,保证修复质量,降低模型复杂度,提高模型的泛化能力也变得至关重要。总的来说,基于深度模型的语义图像修复仍然是一个十分有挑战的研究课题。
本文针对现有图像修复工作中依然存在的修复内容模糊、语义不明确及深度模型复杂,模型泛化能力不强等问题展开研究。论文的主要工作和创新点如下:
1)提出了一种基于密连接生成网的语义图像修复算法。图像修复本质上是依据图像的己知先验知识来推测图像的真实数据分布,因此,如何更准确有效的提取图像隐层特征表达以获取完备的先验知识是决定修复图像质量的关键。我们提出通过建立多组由层级间密集跳跃连接的深度编码一解码生成网络,将图像的浅层信息和深层信息有机融合,同时保持图像空间信息,实现深度挖掘图像语义特征表达的目标。文中引入训练更稳定的WGAN-GP模型,实现从数据逆变换采样成伪概率分布的目标,以获得更加真实的修复图像,通过端到端的对抗训练方式,实现模型的自我优化过程。在图像修复研究领域两个公有数据集ImageNet和ParisStreetView上的对比实验结果表明该算法从主观和客观评测上都取得了更优的修复结果。
2)提出了一种基于自洽正则化的语义图像修复算法。深度网络通过对大样本学习建立线性或非线性的映射关系来对真实数据分布进行拟合。其中,泛化能力一直是机器学习中模型评估与选择的重要指标。在实际应用中,修复模型输入往往是一幅随机破损图像,这种随机性要求模型应具有较好的泛化能力和鲁棒性。为了降低模型复杂度,我们提出将自洽正则化引入到图像恢复工作中,对生成网络输入具有不同扰动的同源图像数据组,通过自洽约束减小输出图像间的误差损失,使网络输出保持一致,以此来提高模型对随机破损图像修复的泛化能力。
3)本文利用同源图像间的自洽性,通过保持同源数据在隐层空间特征表达的自洽一致性来进一步增强模型对图像的语义特征表达能力。文中在图像修复模型中引入自洽正则化机制,并与基准模型以及当前最优的修复算法得到的修复图像分别进行质量对比,验证了所提方法的有效性。