论文部分内容阅读
图像转换是图像生成领域中一个热们的研究方向,在现实世界中有很多实际的应用,它通过改变其原图特征转化为不同的图像,例如图像风格转换、图像修复、图像上色、图像的超分辨等。随着近些年生成对抗网络的快速发展,其在图像生成领域具有强大的表现力,因此将生成对抗网络应用到图像转换领域已经成为一种趋势。经过了前人不断地研究,图像转换的质量已经有较为明显的提升,但是面对一些复杂的图像时,转换后的真实性、清晰程度、多样性以及转换程度等方面的表现还有提升的空间,对图像转换后图像的效果也是一个巨大的挑战。本文针对转换后的图像在局部不清晰、转换效果不明显等问题,设计了新的图像转换的网络架构,通过改进生成对抗网络的生成器和判别器从而提升清晰度和转换的效果。首先,本文介绍了生成对抗网络和图像转换的研究意义和研究背景,梳理了国内外的对于生成对抗网络和图像转换领域的研究状况,将其中有研究价值的部分进行了挖掘和改进。对生成对抗网络和图像转换方法进行了总结,归纳了近年来生成对抗网络的发展和图像转换领域的相关网络模型,并且总结了现有模型的优缺点。其次,在现有图像转换模型上对生成器和判别器进行改进,提出了一种新的基于对抗网络的图像转换模型。本文在生成器中利用变分自编码器,更加易于将两个不同数据集图像编码到同一个高维语义隐空间,从而提升内容的相似度。通过融合局部和全局判别器,在图像的局部区域和全局区域都得到了更好的判别效果。通过与现有多个方法的对比实验,证明了本文方法在图像转换后的质量上更优越。此外,本文提出在生成器中融合非对称卷积模块,改善编码过程中特征提取,在判别器中融合多尺度特征图,增强对前层特征图信息的判别作用,通过实验对比发现,图像转换后效果有一定的提升。本文实验主要是在Facades、Edges2shoes、Maps等数据集中进行训练和测试的,通过对比多个数据集的转换效果,本文所提出的方法在图像的整体转换效果以及细节方面都有着较好的效果。