基于深度学习的图像风格转换方法

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:sun949423350
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像风格转换旨在将给定内容图像转换到指定风格,但保持内容不变。相关任务,包括人脸照片-画像合成、图像超分辨率重建等,在公共安全和数字娱乐领域存在广泛的应用。近年来,基于深度学习的画像风格转换方法在多种任务中取得了巨大成功。不过,如何有效训练深度网络以生成逼真细节,仍然是一大挑战。此外,现有生成方法生成的图像普遍包含复杂的纹理结构,难以实现相关技术的应用推广。为了克服这些困难,本文分别提出了一种新的生成对抗网络以及一种新的人脸简笔画生成算法。具体而言,本文研究工作主要包含以下两点:(1)首先,本文提出了一种基于增量型聚焦损失的图像风格转换方法。在该本方法中,本文引入了一种新型的增量型聚焦损失,使得模型在训练期间可以逐步关注难以学习的例子从而提升模型生成图像细节的能力。此外,本文还提出了增强的自我注意力机制提高生成器的表征学习能力。我们将这两项技术分别应用于无监督型和条件式生成对抗网络中。实验结果表明,该方法在多种图像转换与图像生成任务中,显著提升了生成图像的视觉质量。(2)其次,本文提出了一种鲁棒的人脸肖像简笔画生成方法。具体而言,该方法提出了一种局部稀疏约束,使算法只生成人脸的主要轮廓,从而减少纹理及线条数量。此外,本文还提出了自一致性损失,使模型能够重构风格图像,从而大幅提升了线条的连贯性和逼真度。最后,我们提出了多种图像预处理和简笔画后处理策略,用于优化生成简笔画中的细节。实验结果表明,该方法能够将给定人脸照片转换为由少量连续线条构成的逼真简笔画。此外,该方法对于人脸姿态、背景等具有很强的鲁棒性,并且可以扩展到非人脸图像中,对于相关技术的落地应用等具有重要意义。综上所述,本文提出了两种图像风格转换方法。相较于传统图像转换工作,我们的方法有效提升了生成图像的质量。本文提出的相关技术可以应用到该领域其他任务重,并且对于图像风格转换的应用推广有重要价值。
其他文献
浅浮雕是一种在平面上表现三维物体细节的艺术品,利用压缩的方法对三维物体进行处理,是一种雕塑和绘画结合的产物。目前,传统的浅浮雕建模算法主要存在如下问题:浅浮雕生成效率较低;3D模型的顶点数限制浅浮雕建模质量;浅浮雕风格化算法流程较为复杂。近年来,深度学习技术飞速发展,在图像处理领域的许多方面取得了突破性的成绩。而浅浮雕模型本质上是一种2.5D的高度图,因此,利用深度学习技术解决当前浅浮雕建模中存在
随着信息时代的发展,视频数据在日常生活和工作中大量涌现,视频中的人体行为识别也具有巨大的应用价值,涉及智能监控、人机交互和自动驾驶等多个领域,是智能化产业发展的重要任务之一。视频中的人体行为是时间和空间上的动态变化,有效提取行为的时空特征是解决问题的关键。近年来,基于深度学习的行为识别研究发展迅猛,网络结构不断革新,数据形式也涉及骨架、RGB和深度图等多种模态,取得了卓越的成就。目前的行为识别方法
特殊教育的普及程度是衡量一个国家基础教育成就的重要指标。近年来,我国特殊教育事业快速向前推进,培智学校亟待建设,而我国培智学校相关设计理论的研究尚处于起步阶段,建设
由于互联网和计算机网络技术的不断发展,用于检测未授权访问、行为不端和异常攻击的网络流量分析越来越受到相关研究人员的重视。因此对作为继防火墙之后的网络安全第二道高级防御的入侵检测系统(IDS)进行研究显得尤为重要。随着对网络流量以及入侵检测算法的深入研究,相关研究人员发现单分类算法对网络未知攻击的检测性能优于多分类算法,而且可以处理网络数据不平衡问题,所以研究基于单分类算法的IDS成为现在的热门课题
过渡金属氟磷酸盐因其丰富的结构化学特性,及其在离子吸附、催化、离子交换和离子导体等众多领域所具有的实际或潜在的广泛应用价值,使之成为材料科学和化学等众多领域的研究热点之一。本文旨在探索合成新型过渡金属氟磷酸盐,并对其成分和结构,性能进行研究。采用水热法合成方法,利用水合肼调节PH,合成出两个系列,五种全新化合物,并通过粉末和单晶X射线衍射技术确定了新化合物的晶体结构,利用扫描电子显微镜观察了化合物
金属基自润滑复合涂层因兼有金属基体的力学性能和润滑相摩擦学特性,有利于提高工件表面的摩擦学性能,在无润滑介质或润滑介质容易失效的工况下,显示出巨大的优越性,能有效改
全球汽车产业正朝着电动化、智能化、网联化、共享化方向发展,国际主流汽车企业普遍加速向电动化转型,全球电动汽车产业发展掀起了一股新浪潮,然而伴随着电动汽车数量的快速增长,每个企业关联的新能源电动汽车少则几万台,多则数十万台,企业想高效的管理所有车辆数据,所以设计实现一个新能源电动汽车的信息管理系统已经是迫在眉睫了。本文从电动汽车的运营模式入手,结合我国当前新能源电动汽车的发展趋势,对新能源电动汽车企
焊后热处理是消除硬质合金内部残余应力的一种重要方法。本文采用真空热压烧结炉对添加有不同厚度因瓦合金(1.0mm、1.5mm、2.0mm)作为中间层的WC-Co硬质合金与316L不锈钢激光
拟线性双曲方程组的经典解的奇性形成已被广泛研究.本文主要研究的是具有常重特征的拟线性非严格双曲方程组.在仅要求常重特征在u=0为线性退化的条件下,将初值的衰减性进一步
随着遥感技术的发展,遥感影像的目标检测已越来越广泛地应用于海上交通、城市建设、军事监测等领域,是目前目标检测领域的一个研究前沿和热点。近年来,深度学习模型由于其良好的特征提取和表达能力,在自然图像的目标检测算法中占据了主导地位,取得了非常好的检测效果。然而遥感影像中的目标同自然图像具有很大差异,存在尺寸差异大、目标出现密集、尺度小、多朝向等问题,常见针对自然图像的目标检测算法不适合直接检测遥感目标