基于生成对抗网络的风格迁移算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:lwfpa1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
风格迁移是图像融合的重要分支,风格迁移定义为从多幅图像中收集所有重要信息,并将其包含到更少的图像中(通常被包含在一副图像中)。这一幅图像比任何一幅源图像信息更丰富、更准确,它包含了所有必要的信息(通常包括内容信息和风格)。传统的风格迁移算法针对每一种风格图像,都要先手动建立一个数学或统计模型,再通过改变要做迁移的图像或视频帧来让它们更好地符合该模型。这种方法不仅耗费较大的人力资源,而且还有一个很大的缺点,就是一个算法基本只能针对一种风格或某一类场景的迁移,并且迁移的效果尤其是在视频的风格迁移上往往不尽人意,因此基于传统风格迁移研究的实际应用十分有限。随着人工智能尤其是深度学习的崛起,研究者们开始结合神经网络来探索新的风格表征和迁移算法。本文通过深入研究深度学习思想,借助于当前图像融合算法的研究成果,提出基于深度学习而改进的风格迁移模型,具体研究内容为:(1)提出基于生成对抗网络(Generative Adversarial Networks,GAN)的风格迁移模型,人脸图片向卡通图片进行风格迁移,针对目前主流方法中采用L1损失函数约束生成图片和输入图片的内容提出采用VGG提取深层特征进行约束,更好了减少了局部形变和伪影,基于此,进一步实现彩色人脸图片向素描图片进行风格迁移,提出基于谱归一化约束生成对抗网络的梯度下降,达到稳定性训练的目标,此外,本文详细分析了以往不同模型对于彩色人脸图像向素描图片进行风格迁移过程中产生的问题,提出在生成对抗网络的基础上利用多判别器进行判别,并且利用导向滤波将人脸彩色图片的高频特征和低频特征进行分离,分别对不同特征采用适当的方法进行迭代优化。(2)利用深度可分离结构并采取每次只针对局部通道进行训练的方法大幅达到模型轻量化的效果,并且仍然取得了较好的实验结果,在人脸向卡通风格迁移和人脸向素描风格迁移中都取得了较好的效果,并且大幅度降低模型计算量。通过应用所提出的高频和低频判别器,本文的模型在生成素描图片方面与最先进的方法相比,在成对图像上Frechet Inception Distance(FID)约减少了 18%,在未成对图像上减少了6%。本文提出的方法甚至可以生成一个比艺术家更赏心悦目的草图。在Structural Similarity(SSIM),Peak Signal to Noise Ratio(PNSR)也取得较好结果。为了加速模型的收敛,进一步提出了衰减的正则项。在港中文学生数据集(CUHK student dataset),港中文人脸素描数据集(CUHK Face Sketch),和基于StyleGAN2的黄种人数据集(Yellow-StyleGAN2)之间进行大量实验,证明了本文提出的方法的有效性。综上所述,本文提出了基于深度学习的网络模型,并且分别通过大量实验证明了方法具有实际应用价值。
其他文献
图像分类可以根据图像的语义信息区分不同类别的图像,是计算机视觉与模式识别领域的基础研究任务,在其他高层次任务中扮演着非常关键的角色。在诸多图像分类的研究方法中,稀疏表示理论与字典学习已被广泛认为是信号处理和机器学习的重要工具。稀疏编码是一种表示学习方法,旨在以基本元素以及这些基本元素本身的线性组合的形式找到输入数据的稀疏表示,这些元素被称为原子,由它们组成了一个字典。近年来,以稀疏表示为代表的分类
学位
随着人类社会的信息化、网络化与智能化发展,大量的优化计算问题涌现而出,这些问题在计算机中往往通过搜索加以解决。传统的暴力式搜索方法费时费力,且很难覆盖整个解空间,不能保证解的优异性。群体智能算法是一种启发式的搜索方法的统称,相比传统的搜索方法,它的搜索行为具有智能性。群体智能算法大多模拟了自然界中种群内部的社会合作模型,其中种群的每个个体都可被视为是智能体,通过学习自身或社会经验,决策下一次的搜索
学位
2014年以“选择性”为核心价值、以选考制度为改革重点的新一轮高考改革正式启动,时至今日已七年有余,新高考改革的重心逐渐从考试制度变革转向高中育人方式变革。生涯指导教学是普通高中育人方式变革中重要的一环,它是新高考环境下学生是否能全面健康发展而选考制度又是否能实现设计初衷的关键。而教师的质量决定着高中生涯指导教学的质量,但现阶段普通高中生涯指导教师存在着人数较少、专业性不够等问题。要提高普通高中生
学位
桩+锚索支护是我国深基坑支护中较常用的支护形式。本文介绍了桩锚支护结构的设计要点,施工关键。同时根据实际工程提出BIM技术在深基坑中的应用,通过方案优化,提出可行的施工方法,节约工期和造价。
期刊
随着信息技术的发展,图像作为信息传递的重要载体,其应用范围愈发广泛。然而,图像编辑软件的不断发展使得篡改图像内容变得愈发简单,篡改图像对社会信息安全带来极大危害。因此,社会亟需可靠有效的数字图像取证技术。本文针对图像拼接篡改检测及篡改区域定位展开相关研究,主要研究内容如下:首先,本文提出基于噪声不一致性的图像拼接篡改检测算法。该算法主要针对基于图像分割网络的图像拼接篡改检测算法容易受到图像语义内容
学位
我国是农业大国,“三农”问题始终是关系国计民生的根本性问题,要实现全面建设社会主义现代化国家的目标,必然离不开农业农村现代化。文章探讨了乡村振兴齐鲁样板打造过程中德州市发展数字农业的必要性,提出了德州市应注重数字农业发展的生产集约化、加工精准化、管理精细化、销售可溯化和服务信息化五大发展趋势,以期助推乡村振兴齐鲁样板的打造和德州市乡村全面振兴。
期刊
石油是人类的重要能源之一,是工业生产和人民生活一项不可或缺的战略资源,是经济发展、社会稳定和国家安全的重要保障。对于中国而言,石油消费逐年增加,但自给率不高,对外依存度逐年提升,所以围绕石油各方面的发展和问题都与国家的经济命脉有着紧密的联系。改革开放以来,中国积极融入全球化,参与国际分工,经济全球化影响力愈加明显。作为石油销售企业,做好石油产品的供应以满足市场需求,要研究石油供应链条发生的改变,根
学位
光束平差法(Bundle Adjustment,BA)是联合投影观测信息同时优化相机参数和空间点三维坐标的算法,也是同步定位和地图构建(Simultaneous Localization And Mapping,SLAM)后端优化的关键技术。SLAM系统能否在低功耗的嵌入式平台上满足实时性要求,是评估其能否应用于自动驾驶车端设备的关键指标。由于BA计算规模大、计算逻辑复杂,嵌入式CPU无法满足BA
学位
人体行为识别任务在包括但不限于人机交互、智能监控、医疗辅助、运动辅助等多个方面都有重要的学术意义和广阔的应用前景。在众多学者的不断努力下,人体行为识别任务取得了众多成果。由于现实环境下存在复杂背景、相机移动、光照强度变化以及行为中人体姿态变化等多种因素,让人体行为识别任务变得更具挑战性。现有的方法大多聚焦于空间特征提取网络或者时间特征提取网络的性能,却忽略了时空特征融合策略以及特征提取网络的输入特
学位
“高水平”“结构化”“创新型”的高职教师教学创新团队建设,是提升职业教育办学水平和人才培养质量的关键,也是职业教育高质量发展的重要支撑。高职教师教学创新团队建设要把握凸显“立德树人”教育理念、立足“四链对接”发展需求、聚力团队综合能力提升、实现团队“样板”示范引领的基本原则,从完善教学团队建设机制、强化教学团队专业和创新能力、健全教学团队培训和运行体系、搭建教师企业实践平台入手,探索有助于破除建设
期刊