基于注意力机制的图像区域风格迁移方法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:bluebabyyejing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的快速发展,基于深度学习的图像风格迁移方法有了极大的改进与创新,近年来不断衍生出新颖的方法,如各种单模型单风格、单模型多风格及单模型任意风格的风格迁移方法,但现有方法中仍然存在可以提升的方面。一方面,在单模型多风格与单模型任意风格的方法中,旨在实现多种风格的风格迁移以降低训练成本和提升效果的丰富性,但往往会疏忽原内容图像语义信息与细节特征的保持,导致最终风格迁移效果受到影响。另一方面,多数现有方法只针对一张整体的内容图像进行风格渲染,而针对内容图像中局部不同区域进行风格迁移的方法较少,且依旧存在上述未能较好保持原内容图像语义信息及细节特征的问题。本文针对以上问题,基于深度学习的方法与技术,对风格迁移方法进行相关研究。本文的主要内容如下:(1)为了提升对原内容图像语义信息的保持效果,提出了一种基于注意力机制的多风格迁移方法。本文提出的方法引入了注意力机制模块,以提高网络性能,同时结合条件实例归一化的方法,实现了单模型多风格迁移以及能对风格程度进行控制,并且有效地保持了原内容图像的细节特征与语义信息,进而提高了风格迁移的效果与质量。实验结果表明,本文提出的方法能够呈现出丰富多样的风格迁移效果图,并且对原内容图像的语义信息进行较为完整地表达,与现有方法对比,本文方法的整体效果与质量得到了提高,同时采用了计算显著图间SSIM指标的对比方法,以体现结果图与原内容图像的相似度,在效果较优的结果图中SSIM值达到0.79,验证了本文风格迁移效果图能较好地保持原内容图像的语义信息。(2)为了实现较高质量的多区域风格迁移,提出了基于实例分割的图像多区域风格迁移与融合方法。实现过程需要涉及到三个方面,其中包括对内容图像中目标区域进行高精度且高效率的识别与分割、生成高质量的风格迁移效果图以及能够有效优化融合后目标区域的边缘轮廓。因此本文研究了分割精度较高且实时性较强的YOLACT实例分割网络模型以及图像泊松融合的方法,并结合了本文所提出的风格迁移方法。实验结果表明,本文方法能够对内容图像的前景目标与背景区域进行不同风格的风格迁移,并在最终生成的结果图中呈现出丰富多样的艺术风格,且依旧将内容图像中语义信息进行较好地保持,同时图像区域融合后的边缘及轮廓较为自然,对经过不同风格渲染且重构的结果图进行显著图间SSIM指标的对比,以体现出本文所提方法的有效性,在效果较优的结果图中SSIM值达到0.81,实现了较高质量的多区域风格迁移与融合效果。针对现有的问题,本文提出了两种风格迁移方法均较好地保持了原内容图片的细节特征及语义信息,并保留了风格图片的纹理与色彩,其中不仅实现了多风格迁移及对风格程度的控制,同时还实现了风格迁移的区域可控性,具有较高的应用价值。
其他文献
随着工业行业的迅速发展,设备的精度及稳定性越来越受客户关注。在生产加工中,要求数控机床的加工精度高,且稳定,是制造商推向客户的重要一点。在高端设备加工中,机床的以上特性尤为重要。对于机械结构而言,机床铸件及在安装过程存在几何误差,在生产过程中这种误差已经很难被消除。工件在加工过程中刀具和加工工件在切削力的作用下其角度和直线度会有偏差,造成加工程序程序中指定的位置与实际位置会有误差,导致工件尺寸超差
无源定位技术是一种定位设备自身不需要对外界辐射信号,仅通过接收并分析目标辐射的信号来确定目标位置的技术,具有隐蔽性强、抗干扰能力强的特点。多站无源定位是通过设立多个观测站点获取目标位置信息,通过集中式数据处理或分布式数据处理的方式实现观测信息融合,从而实现目标定位。而实现运动目标定位跟踪需要解决的重点问题是研究其滤波跟踪算法,但由于实际定位过程中存在目标机动、环境因素、设备因素等诸多因素影响,会引
近十年来新能源汽车得到了广泛的关注。然而,不少新能源汽车的设计仍沿用传统燃油车的方案,特别是外观设计。对于选择新能源汽车的用户而言,是否有区别于传统燃油车的外观设计需求,是值得研究的课题。感性工学设计方法能捕捉及量化用户的感性需求,被大量应用于产品外观设计的用户需求分析。传统的感性工学设计方法需进行大量的访谈及实验,数据收集成本较大。随着移动互联网的普及以及用户共享意识的提升,用户在汽车论坛、网站
在对现代控制系统的分析研究中,最优控制问题备受关注。一方面,保证被控系统的闭环稳定性仅仅是最低要求,还需要进一步优化系统性能;另一方面,许多经典的优化控制方法在处理复杂非线性系统优化问题时常常具有局限性。为弥补传统方法的缺陷,实现日益复杂的非线性系统的最优控制任务,自适应动态规划(Adaptive Dynamic Programming,ADP)方法应运而生,其作为一种利用强化学习思想,在动态规划
在实际应用中,机器人往往处于未知和非结构化的工作环境中。机器人在真实环境中找到自己的定位依赖于同步定位与地图构建技术(Simultaneous Localization and Mapping,SLAM),即在运动的同时获取传感器数据来评估真实环境信息,结合地图信息实现自我定位并建造增量式地图。传统SLAM方法在移动机器人在建图导航时仅考虑XY坐标和偏航(Yaw),导致地面平整性和凹凸障碍物信息缺
序列号,是指纸币上的一串由英文和阿拉伯数字组合的字符序列。每张纸币都有一个唯一的序列号,是纸币的特殊身份标识。因此,实现对纸币序列号的精准识别,在防伪、追踪被盗纸币、提高金融市场稳定性等方面起着至关重要的作用。随着金融经济的快速发展,对纸币识别系统的序列号识别能力的要求也不断提高。然而,现有的纸币序列号识别方法普遍存在着识别准确性差、易受外部环境的制约、对纸币污损残缺的适应能力差等不足。其主要原因
随着车联网技术的不断发展,车辆安全逐渐受到人们的重视,制定合理的驾驶评估方法已成为保障安全驾驶的重要任务。然而,影响驾驶安全的评估因素众多,这让驾驶指标的选取成为重大难题,如果选择影响因子过小的驾驶指标,最后的评估结果往往缺乏通用性与客观性。现有的驾驶评估可视化应用多以总体评估的方式呈现给用户,但这种方式缺乏量化的数据,用户并不知道自己是在什么时间点、因为什么样的行为造成驾驶评分下降。为了充分利用
近些年来,人工智能技术的发展如火如荼,模式识别领域同样百花齐放。面向小样本的生物特征识别作为一项重要的技术,在学术领域引起广泛的关注与研究。在现实生活中,非接触的身份验证识别得到更多人们的支持,不仅是其方便性得以满足,而且在安全性上,也达到了一定的标准。所以研究生物特征识别是一项具有前景的工作,特别是小样本情况下,智能系统的识别算法。本文的小样本有两层意思,其中指的是训练样本的数量和训练样本的维度
近年来,随着物联网及人工智能的飞速发展,人们的日常生活方式正在悄然发生改变,人们开始不断地追求便捷、丰富和智能的家居生活,由此智能家居领域开始变得异常火热。同时,面对家居环境下日益增长的需求用户对家庭设备的投入成本不断升高,并且传统的家居音箱设备播放音频资源有限、无法同已有的家庭设备相互通信控制更无法为家庭用户提供个性化的服务,家居音箱呈现出通用性不强、个性化不足等特点。因此,设计出一款节约成本、
多人协同计算问题是指人员之间相互交互和协作完成的任务。在协同计算前,需要根据任务需求和特点将任务分割为多个子任务。继而将不同的子任务指派给对应的参与人员完成任务分配。在任务分配过程中,由于参与人员自身的性格、政治倾向、信仰、喜好、习惯等原因形成了主观因素。主观因素会直接影响协作,导致参与人员会对其他人产生合作意向或冲突意向。若两人之间存在合作意向,则两人一起工作会增加项目的收益;两人之间存在冲突意