基于CycleGAN的图像风格转换

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:seaw2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像到图像的翻译工作在现实中有着广泛的应用,因此在计算机视觉领域得到高度关注。深度学习包括监督学习、非监督学习和半监督学习。基于监督学习的图像翻译算法在超分辨率增强、图像补全、图像风格转换等领域得到广泛应用。这些算法大都采用基于深度卷积网络的编码-解码架构,得到了很好的效果,但是需要大量成对的训练数据,这极大地限制了其应用范围。生成对抗网络(GAN)是近几年深度学习领域的新秀,GAN的应用已经延伸至视频、图像、文字、语音等众多领域,尤其在图像的生成与图像风格转换领域。而CycleGAN是加州大学伯克利分校Jun-Yan Zhu等人提出的一种图像风格转换技术。通过CycleGAN的网络结构进行图像风格转换,将自然得到的图片转换成具有某种风格的图片,同时该方法不需要源图像与风格图像互相匹配,因此扩大了应用范围。而CycleGAN模型中仍然存在着一些需要改进的地方,本文正是基于CycleGAN模型进行进一步研究工作。本文研究了基于生成对抗网络的无监督学习图像风格转换模型CycleGAN框架,针对原始模型的不足进行改进,提出一种效果更好的CycleGAN改进网络模型。首先在实验中,分别使用WGAN-GP、WGAN、LSGAN和原始GAN目标函数比较生成样本的质量。研究发现,WGAN-GP能够稳定训练过程并且生成更真实的图像,所以在对抗部分目标函数使用WGAN-GP,WGAN损失替换LSGAN,GAN;其次,为了增强生成图像和原始图像之间的结构相似性,在循环一致性损失中增加MS-SSIM损失;然后,基于U-Net中跳跃层结构和残差块原理,在生成器网络部分使用残差块和跳跃层来增加多尺度不变性;最后,在判别器网络部分使用本文提出的多尺度扩张卷积判别器来提高图像风格转换中空间几何变换和高分辨率图像生成效果。改进模型在定性和定量上呈现出更好的转换生成效果,而且针对CycleGAN模型在色彩和纹理上转换效果不错,却在几何形状变换方面效果较差的情况,改进模型有不错的改观。最后基于本文提出的改进CycleGAN模型,解决人脸识别中常见遮挡物眼镜对识别的影响,实现改进CycleGAN模型在眼镜摘除任务中的应用。
其他文献
苹果是世界大宗水果之一。2011/2012年度世界苹果又将喜获丰收,预计总产量可达6523万t,再创历史新高,比上年度增长4%;其中,世界苹果生产巨头中国产量可达3500万t,比上年度增
京师同文馆美籍教习丁韪良作为晚清"同治中兴"时期文化教育变革的参与者,第一次从历史、现实与发展趋势的综合分析视角,为同治新政"定性",将其称作"中国的文艺复兴"。重视丁
“谶纬”是两汉时期的重要政治理念和社会思潮,是儒学与汉代神学合流的产物,作为儒学神学化的一种表现形式,伴随着儒学在封建社会意识形态中统治地位的确立,其在社会行为与社
<正>本刊讯(特约通讯员陈世平)近几年,平和县大力实施高效果业发展战略,在全面促进琯溪蜜柚规模化种植、标准化生产和品牌化营销的基础上,积极强化蜜柚深加工,拉长产业链,提
<正>"华蜜无核贡柑"是从"贡柑"芽变中选育出的无籽柑桔新品种。2013年6月通过广东省农作物品种审定委员会认定并命名。该品种果实椭圆形,果顶平,果基多为乳头状凸起。果皮橙
期刊
太平鼓(单鼓)并非满族独有,它源远流长,涉及面很广。本文拟对太平鼓的渊源、类别及艺术价值作出说明。
目的:探讨延续性护理对慢性阻塞性肺疾病(COPD)患者生活质量的影响。方法:将90例COPD患者随机分为对照组和观察组各45例,对照组采用常规护理,观察组采用延续性护理;比较两组
本文通过SFA的方法计算了我国35个行业全要素生产率,并将其分解为规模效率、技术进步和技术效率,在此基础上将35个行业分为7类分别衡量了全要素生产率各组成部分对能源效率的
识字教学中,我们应该让生活走进识字课堂,让学生在生活情境中识字,在生活积累中识字,在生活游戏中识字;同时识字教学还应走进社会生活,把课堂搬到生活中,让生活注入文本,让生
继电保护直流串绕是造成保护误动作的主要原因,同时也是近年来我国变电站工作过程中常见的困扰。加强继电保护直流串扰出现原因分析有利于确保我国变电站电源设备可靠性的提