基于编码器-解码器的图像风格迁移方法的研究与应用

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:xingchen8888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的迅猛发展,图像APP(Application)种类日益增多,尤其是图像创作类APP得到了大量用户的喜爱。但是这类APP大部分功能仍停留在滤镜、图案修饰和局部美化等方面,并不能给用户带来更多的创作体验。随着深度学习的发展,图像风格迁移技术激发了用户的创作热情,用户可以自主地组合目标图像和任意风格图像,得到具有特色的风格化图像。根据不同的创作对象,风格迁移技术可以细分为艺术风格迁移和写实类照片风格迁移。其中,艺术风格迁移技术主要迁移艺术性画作的风格,在漫画上色、艺术风格创作等领域受到了广泛关注;照片风格迁移技术的对象是写实类的照片,一般被用于游戏、电影及动画创作领域。然而,目前无论是艺术风格迁移还是照片风格迁移都存在风格化图像质量不高的问题,因此本文开展了针对图像风格迁移中风格化图像质量提升的研究。(1)本文首先介绍了课题背景和研究意义,调研了国内外关于图像风格迁移的研究现状。此外,还分析总结了风格迁移相关的算法,并研究了编码器-解码器网络、注意力机制和元学习方法等相关技术,为提升风格化图像质量奠定了基础。(2)针对艺术风格迁移算法中风格化图像的内容结构不清晰,风格化图像和风格图像的风格在颜色、纹理、形状方面不一致问题,提出了一种基于对偶注意力和元学习的风格迁移方法。在该方法中,通过构造对偶注意力模块,从位置和通道两个方面强化融合特征中重要特征的表达;然后基于模型中的编码器-解码器的结构构建元学习系统,提升模型的解码能力,增强风格特征表达,提高风格在迁移前后的一致性。实验结果表明,该方法提升了内容结构的清晰度,并增强了风格特征的表达能力,提高了风格化图像的质量。(3)对于照片风格迁移中风格化图像的语义信息丢失,局部纹理扭曲变形等问题,提出了一种基于WCT(Whiten-Color Transform)和纹理损失的照片风格迁移方法。首先,构建多层风格迁移网络,每一层编码器的输出都经过WCT算法进行内容特征和风格特征的转换,目的是多尺度融合不同层信息,使生成图像的语义信息饱满丰富;其次,浅层的解码器的上采样操作使用Un Pooling技术,深层的解码器的上采样操作使用Un Sampling技术,有利于还原图像的重要语义信息;最后,用纹理损失和全局风格损失构建总风格损失,其中纹理损失基于上下文信息,全局风格损失用格拉姆矩阵表示,这使得风格化图像保持了风格的局部和全局一致性,同时也有利于保留风格纹理的局部细节特点。实验结果验证了所提方法的有效性。
其他文献
人类社会的不断发展加剧了能源的消耗,按照如今的消耗速度人类很快就会面临能源危机,我们国家也不例外。目前,我国的石油和天然气等化石能源很大一部分都是依赖国外输入,长期以来能源问题都是我国发展的重要议题,随着便携式电子设备和各种汽车的蓬勃发展,对储能设备提出了更高要求,因此储能技术被视为国家的重要战略。过去几十年中,人们开发了柔性碱金属离子电池(Li、Na、K),该类电池优点是能量密度高,同时也存在一
随着经济不断增长,城市生活水平显著提升,绿道规划与建设发展迅速,绿道作为绿色公共空间,能有效提供运动、休闲和游憩的场所,产生较好的经济、社会、环境效益,日益已成为城市绿色发展的重要组成。目前部分城市居民和游客对绿道满意度偏低,为提升绿道品质,真正满足居民和游客需求,亟待对城市绿道满意度情况进行系统的科学理论研究,探讨更适合于推动城市绿道发展的方法和途径,使绿道真正成为城市绿色发展的新契机。本文以城
大电导钙依赖性钾通道(Large conductance calcium and voltage-dependentpotassium,BKCa通道)分布广泛,受氧化、磷酸化、胞内钙浓度等因素的调节,在血管、神经内分泌等生理、病理过程中发挥重要的作用。过氧化氢(Hydrogen peroxide,H2O2)属于活性氧(ROS)的重要成员,既是细胞损伤的因素,又是胞内的第二信使。PTEN具有负调控P
无非零幂零元的环称为约化环(或简约环).Armendariz最先发现约化环R满足下述条件:对R上的任意多项式f(x)= 0 a1 + aax十…十gmxm,b(x)= +0十十…n,当f(x)g(x)= 0时,必有aibj= 0,0 ≤ i≤m,0 ≤ j ≤ n.受此启发,Rege和Chhawchharia研究了满足上述条件的环,并称之为Armendariz环.从此以后,Armendariz环及
近年来,具有“给-受体”构型的有机共轭低聚物分子由于其较大的非线性极化率、超快的光学响应和较高的光学损伤阈值,引起了广泛的关注,并在双光子荧光显微、三维微加工、光限幅、光动力学治疗、太阳能电池等领域得到了广泛的应用。在多种结构的“给–受体”型有机共轭低聚物中,具有对称的D–π–A–π–D结构的线型共轭低聚物更为突出,这是由于在这类分子中,从给体基团到受体中心的分子内电荷转移过程极易发生,使其拥有优
本论文主要是对当前物质与强激光场相互作用中高阶非线性光学基本现象之一的强场电离进行了系统的理论研究。所研究的内容主要包括两大方面,一是强场阈值上电离对周期量级超短脉冲载波包络相位的依赖关系;二是强场非顺序双电离的电子关联效应,包括对载波包络相位的依赖关系,利用分子固有偶极矩操控非顺序双电离的动力学过程以及很低激光强度下的共振双电离过程中的微观动力学。对于周期量级的超短脉冲,在阈值上电离中重散射光电
最近几年,多智能体系统的分布式协同控制受到越来越多研究者的关注,这不仅是因为它可以揭示自然界中许多复杂系统的涌现性质,更重要的是它有着广泛的工程应用背景。在多智能体系统的分布式协同控制当中,一个关键的问题是多智能体系统的一致性。为了实现一致,智能体之间需要进行局部的信息交换。由于实际的多智能体系统处在各种复杂的网络环境当中,智能体本身可能因遭受外部攻击而导致局部的信息交换中断,智能体之间的局部信息
在移动社会网络(Mobile Social Networks)中,由于节点间的连接缺乏稳定性,从源到目的节点之间很难找到一条可靠链路,导致节点之间的通信也相当困难。目前大部分的研究着眼于将网络环境中的路由问题理想化,而不考虑社交特性。在许多移动社会网络中,通信设备是被个体所携带的,因此,在某种程度上,这些移动社会网络是一种独特的社交网络,分析他们的社交属性已经成为设计移动社会网络中的路由协议的一个
国际视频压缩编码标准H.264/AVC和H.265/HEVC运用了混合视频编码技术(运动补偿预测技术和DCT编码技术)。在混合视频编码技术中,编码器的核心算法是帧间预测,利用帧间预测可去除视频序列中时间域的冗余信息。它包括整像素运动估计和分像素运动估计。在运动估计中,利用像素间的相关性进行分像素值的内插可提高运动矢量估计的准确性,从而使运动补偿过程产生较小的残差数据。实验证明,高精度的运动补偿能够
研究背景和研究目的:干扰素是一类具有多种生物活性的细胞因子,具有抗病毒、抗肿瘤、免疫调节等多重生物学作用。目前干扰素主要分为3大类,Ⅰ型干扰素即IFN-α、IFN-β;Ⅱ型干扰素IFN-γ;Ⅲ型干扰素即新型干扰素,IFN-ω、IFN-δ、IFN-ε和IFN-κ等。干扰素通过与细胞表面的干扰素受体结合,激活以JAK-STAT为主的信号传导通路,调控下游干扰素相关基因的表达,从而编码各种与生命活动相关