基于深度特征对齐的图像任意风格迁移

来源 :深圳大学 | 被引量 : 0次 | 上传用户:taitaitaihaole
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像风格迁移是指给定一组内容图像和风格图像,合成一张结果图像,该图像既保留内容图像的内容,又体现风格图像的艺术风格。图像风格迁移是计算机图形学、图像处理等领域的基础问题之一,在图像处理、艺术创作以及影视特效等方面有着广阔的应用前景。近几年里,随着深度学习的发展,虽然图像风格迁移方法的研究取得了重大进展,但是在实现图像任意风格迁移时,如何同时保证速度和图片质量,仍有待进一步解决。当今先进的图像任意风格迁移方法都是使用神经网络单步地对风格特征进行直接替换。这些方法在简单的内容-风格图像对上可以获得高质量的合成结果,当内容图像和风格图像变得更加复杂、差异更大时,往往出现风格特征扭曲失真、内容结构被破坏等问题,导致这些方法无法合成合理且令人满意的风格迁移结果。针对上述问题,我们提出了两种特征对齐网络来提高任意图像风格迁移结果的质量:一种是基于误差的特征转移网络来对齐误差特征和中间风格化特征,另一种是基于风格的特征对齐网络来对齐输入图像对之间的风格特征。首先,在内容图像和风格图像较为复杂的情况下,使用神经网络进行一步/次风格迁移,结果难以完全满足内容图像中语义结构和风格图像中风格模式的约束。受误差修正工作的启发,我们提出了一个自校正模型来预测当前风格化结果与理想风格化结果的误差,并以迭代的方式对其进行渐进式改进。对于每一次修正,我们将误差特征在空间域和尺度域上进行传递,得到与当前风格化结果对齐的残差图像,并对其更新,我们将这一模型称之为误差转移网络。该模型改进了现有的方法,其结果具有更好的语义结构和更具适应性的风格细节。各种定性和定量实验表明,误差对齐的关键概念和渐进策略都取得了较好的效果。上述方法通过将误差引入前向网络,并对齐误差特征与当前风格化结果,获得了更高质量的风格迁移结果。但该方法是基于迭代策略的,在增强网络泛化能力的同时牺牲了运行效率。为了在网络泛化能力和运行效率间进行平衡,我们将目光转向传统的通过一次特征匹配进行风格迁移的策略。在现有框架下,我们基于一个新的观察,设计了一个新颖的风格特征对齐网络。我们注意到风格迁移结果的扭曲失真,内容结构破坏等问题产生的一个原因是目标内容特征与目标风格特征之间不匹配。因而,我们提出了一个新的基于风格特征对齐的网络,旨在同时考虑一组输入的内容-风格图像的风格特征,通过对齐它们的风格特征,提取出与目标内容特征更匹配的风格特征,从而减少冲突,进而获得更高质量的风格迁移结果。实验证明该网络可以实时地输出内容结构更好,风格特征更合理的风格迁移结果。
其他文献
目的:阿尔茨海默病(Alzheimer’s disease,AD)是一种神经退行性脑疾病,发病比较隐匿。因病因迄今未明,尚无有效治疗药物,给家庭和社会都造成巨大压力。本课题组前期研究结果显示,硒甲基硒代半胱氨酸(SMC)可显著改善AD模型小鼠的行为认知并减轻相关的病理指标,在此基础上本课题利用蛋白组学技术进一步研究了SMC干预AD发展的分子机制。同时本课题选取另外一种有机硒化合物Ebselen,研
人类视觉系统的注意力机制指出,人在观察和评估图像质量的过程中,是由自底向上和自顶向下两部分协同作用,来提取和注意到关键的区域信息。同时,我们观察到真实场景中的图像可能包含多种失真,即使只含有一种失真,其对图像各个区域的影响程度也不一样,因此针对关键的图像区域进行分析和评估对整张图像质量评估十分重要。在图像质量评估领域,直接对图像的失真区域进行标注是一项耗时耗力的工作。因此,现有的工作一般是在无参考
互联网时代下,传统行业的数字化转型步伐越发加快,传统数据管理中心已无法满足当前爆发式增长的数据存储需求。分布式存储系统因其低成本、高容错性、扩展性好、存储容量大等优势成为了当前存储技术的发展趋势。但分布式存储系统搭建在廉价的PC节点上,随着系统节点规模的不断扩大,节点失效问题也越发严重,因此如何高效地保障分布式存储系统的可靠性成为学术界和工业界重点研究的问题之一。当前主要的两种保障系统可靠性的技术
近年来,可视化成为了最为流行的数据展示及数据分析技术,广泛应用于各种领域。可视化就是将数据以视觉图像的形式呈现给用户,为了使用户更好的理解和解析数据,设计人员会通过调整不同的视觉通道来改善最后的可视化结果,例如对应的大小、位置、形状还有颜色等。而在这些视觉通道中,由于颜色本身的属性比较复杂,也是影响视觉效果的主要因素,所以其优化的效果非常需要重视和研究。对于颜色的优化效果,本文提出从感知性与和谐度
随着城市规模的不断扩张,城市社会经济的多样性和复杂性也随之增加。作为城市社会经济活动重要载体的城市空间,其形态和结构也在这个过程中变得错综复杂,人口和信息、能量、资金等要素在不同的城市功能区之间进行流动,城市规模的扩大,这些流动在强度上和复杂程度上都有显著的提高。如何科学的认识城市功能区之间的交互关系,并在此基础上合理地对城市中不同功能区在空间上进行安排,既有利于提高人口和信息、能量、资源等要素在
技术高度发展的今天,人们在生活、工作、学习、研究等各个领域中都会涉及布局设计,比如进度汇报、工作总结、商品展示、成果演示、海报制作等。用户在使用现有图形编辑工具布置元素时,常常希望得到协助,从而能够快速便捷的得到期望的元素布局。他们希望能被指导,而不是漫无目的在调整元素位置上浪费时间;希望可以直观比较,而不是在不同方案之间反复切换消耗时间;希望能够避免简单重复的实现工作,并且他们的设计意图能够被系
随着半导体技术的不断更新,物联网、人工智能和5G通信等应用领域的不断发展以及电子产品功能的不断复杂化,对电源管理模块最大电流能力要求也不断增加。对于在电源管理类芯片中应用最广的低压差线性稳压器(Low Dropout Regulators,LDO),由于芯片封装大小以及散热的限制,使得单个LDO芯片能提供的最大电流也受到限制。而LDO的并联方案是解决该问题、提高电源系统最大电流能力的有效途径,但简
当前,中国人口老龄化问题日益突出,持续的老年人口增长将大众的视野聚焦到了老龄化相关的社会问题上,其中老年人的社会交往问题是重要问题之一。老年人退休后的社交圈子从社会工作转向了家庭邻里,社会联系的减少使得他们从心理上更需要与人交流,社会交往活动能够帮助老年人重新建立新的社会角色,构建新的社交网络,有利于老年人身心健康。住区户外活动空间是老年人群体进行日常交往活动的主要场所空间,其空间环境品质直接影响
随着快速城市化进程的推进,深圳市率先遇到了土地及空间资源约束的瓶颈,空间资源难以为继成为推进城市建设的主要障碍。与此同时,城市建设吸引的人口迁移、城市更新引发人口结构的变化以及教育政策的不断放宽将会对教育资源产生巨大的新增需求。现有教育设施难以满足激增的人口规模需求,导致教育设施的供需矛盾日趋凸显。在土地稀缺和人口增长的双重压力之下,城市更新成为空间资源获取的主要途径,通过城市更新完善教育设施配置
近年来随着人工智能的快速发展,自动问答系统备受瞩目且发展前景广阔。在生成式自动问答系统构建过程中,面临着由于知识匮乏而带来的生成不准确的问题。针对这个问题,本文将领域词典和知识图谱这两种不同形态的外部知识信息融合到深度模型中,增强对问句的理解,从而提高生成答案的准确性,研究内容如下:(1)针对生成式自动问答系统缺乏外部知识而导致的生成不准确问题,本文提出融合领域词典和拷贝机制的答案生成模型(LEP