论文部分内容阅读
图像补全是数字图像处理领域的重要研究方向,应用前景十分广阔。近年来,生成对抗网络(GAN)给图像处理任务提供了全新的手段和技术,比起传统的深度学习,它拥有更强大的表达和特征学习能力,在图像补全领域取得了显著成功。但利用GAN进行图像补全的研究主要集中在对图像缺失内容的修复,而生成模型的特点便是能够生成新的信息,基于这个特点,Mark Sabini等人提出了图像扩展的概念。图像扩展在图像修复的基础上更进一步,可以根据图像片段“预测”出原图像中不存在的、边界外的部分,即给定一幅原图像,通过图像扩展能生成一幅具有更大分辨率和更多信息的图像。图像扩展将会衍生出很多令人兴奋而新颖的应用。例如,可以将图像输出用于全景创建、垂直拍摄的视频扩展和纹理创建,而相关方面的研究较少,所以具有很大的研究意义。图像修复和图像扩展密切相关,但在并没有明确的研究表明前者的技术可以直接应用于后者。本文将用于图像修复的生成对抗网络技术引入到图像扩展中:(1)引进残差块避免可能存在的梯度消失/梯度爆炸问题,同时加速收敛;(2)使用wasserstein距离来训练模型,提高模型的稳定性,以及生成图片的多样性,特别地,本文使用了两个鉴别器:全局鉴别器网络和局部鉴别器网络,正如本文所证明的,这对于获得语义和局部相关的图像补全结果是至关重要的;(3)为了更进一步提升生成网络的图像补全性能,加入MSE损失训练生成网络的同时,引入了MRF能量函数。增加这个能量函数后,使得缺失部分的像素与边缘像素在图像特征上的一致性得到了保证。增强了缺失部分与完整部分间图像特征的一致性,同时损失函数下降更快,再一次提升了生成网络生成的图像效果。最后,本文通过训练收敛速率、结构相似性、峰值信噪比、归一化均方误差和平均绝对误差这些指标来评估扩展图像的性能。通过在Place365-Standard分离出的沙滩和草原数据集上训练模型后,补全出更加逼真的图像证明了本文成功的优化了模型,本文的模型损失收敛更快,补全出的图像质量、真实度和多样性都有所提升。此外,本文还设计了梯度惩罚参数、CT惩罚项参数、马尔科夫随机场权重参数和联合损失中传统GAN对抗损失权重参数这四组修正超参的对比实验,以获取模型的全局最优状态。