论文部分内容阅读
图像到图像的翻译工作在现实中有着广泛的应用,因此在计算机视觉领域得到高度关注。深度学习包括监督学习、非监督学习和半监督学习。基于监督学习的图像翻译算法在超分辨率增强、图像补全、图像风格转换等领域得到广泛应用。这些算法大都采用基于深度卷积网络的编码-解码架构,得到了很好的效果,但是需要大量成对的训练数据,这极大地限制了其应用范围。生成对抗网络(GAN)是近几年深度学习领域的新秀,GAN的应用已经延伸至视频、图像、文字、语音等众多领域,尤其在图像的生成与图像风格转换领域。而CycleGAN是加州大学伯克利分校Jun-Yan Zhu等人提出的一种图像风格转换技术。通过CycleGAN的网络结构进行图像风格转换,将自然得到的图片转换成具有某种风格的图片,同时该方法不需要源图像与风格图像互相匹配,因此扩大了应用范围。而CycleGAN模型中仍然存在着一些需要改进的地方,本文正是基于CycleGAN模型进行进一步研究工作。本文研究了基于生成对抗网络的无监督学习图像风格转换模型CycleGAN框架,针对原始模型的不足进行改进,提出一种效果更好的CycleGAN改进网络模型。首先在实验中,分别使用WGAN-GP、WGAN、LSGAN和原始GAN目标函数比较生成样本的质量。研究发现,WGAN-GP能够稳定训练过程并且生成更真实的图像,所以在对抗部分目标函数使用WGAN-GP,WGAN损失替换LSGAN,GAN;其次,为了增强生成图像和原始图像之间的结构相似性,在循环一致性损失中增加MS-SSIM损失;然后,基于U-Net中跳跃层结构和残差块原理,在生成器网络部分使用残差块和跳跃层来增加多尺度不变性;最后,在判别器网络部分使用本文提出的多尺度扩张卷积判别器来提高图像风格转换中空间几何变换和高分辨率图像生成效果。改进模型在定性和定量上呈现出更好的转换生成效果,而且针对CycleGAN模型在色彩和纹理上转换效果不错,却在几何形状变换方面效果较差的情况,改进模型有不错的改观。最后基于本文提出的改进CycleGAN模型,解决人脸识别中常见遮挡物眼镜对识别的影响,实现改进CycleGAN模型在眼镜摘除任务中的应用。