论文部分内容阅读
在过去的数年内,伴随着深度学习的不断演进与计算机算力的提升,计算机视觉任务取得了长足而全面的发展。在计算机视觉任务当中,基于语义的图像补全问题是其中的热点,也是难点之一。传统的图像补全方法仅将修复图像与原图之间的结构相似性作为补全重点,取得了一定的成效,然而在面对大面积的缺失图像的补全时,这些方法却无能为力。近年来,随着深度学习的不断发展,基于深度模型,特别是深度生成模型的方法由于其能够全面利用待补全图像与原图的语义信息,获得了更好的效果。虽然相比于传统的补全方法,基于深度模型的图像补全算法能够取得更好的效果,但仍然存在着图像补全部分不清晰甚至补全失败的情况。鉴于此,本文提出了两个基于深度卷积生成对抗模型的图像补全算法,对原有的方法进行了一定的改进。具体内容如下:1.设计了基于深度卷积生成对抗网络的普通图像补全算法。为了使补全的图像与原始图像更接近,我们将补全任务设定为条件图像生成任务,即在训练阶段学习到训练数据的分布,在补全时利用训练好的深度卷积生成对抗网络,寻找在数据流形上与待补全图像最接近的图像特征嵌入;同时设计了内容损失与重建损失,帮助搜索到最佳的数据流形;此外,我们还设计了基于深度卷积神经网络的一致性损失,来约束生成图像与原始图像在深度特征空间的一致性。该方法有效地提高了补全图像的细节与真实性。2.提出了基于单生成网络多判别网络的人脸图像补全算法。为了使得待补全部分与原图的细节更为贴近,我们在原始的深度卷积生成对抗网络的全局判别网络基础上增加了针对待补全部分的区域判别网络,进一步细化待补全部分的细节信息。基于上述的模型,我们在已有的全局判别网络上增加了区域判别网络结构。此外,我们还引入了近邻损失,使得补全图像与真实图像在像素层面与结构层面均保持相似,从而提升补全图像的语义与细节信息,有效地提高了补全图像的质量。