基于语义信息的图像风格迁移方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:fly383910564
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
绘画是艺术创作的重要视觉表现形式之一,绘画作品的艺术风格包括颜色、纹理、构图等一系列图像信息,能够体现艺术家的创作背景和创作特点,是各类绘画流派的直接特征表现。创作一副具有特定艺术风格的绘画作品往往需要训练有素的专业人员花费大量的时间。而随着计算机技术的不断发展,借助图像处理和计算机视觉方法可以出色的完成艺术图像的创作。通过对绘画作品的艺术风格建立数学或统计模型,图像风格迁移算法能够使计算机自动地将任意图像转换为特定的艺术风格图像,同时保留原图像的语义内容和结构。图像风格迁移被广泛用于图像编辑、图像创意设计等应用,在社交媒体和数字娱乐等领域具有重要的研究意义和应用价值,已成为计算机视觉和图像处理的热点研究方向之一。图像风格迁移的研究重点为对绘画作品的艺术风格(如图像颜色、图像纹理)与待转换图像的内容信息(如图像构图、图像语义)进行表示与处理。其难点在于如何对“艺术风格”这一抽象的概念建立数学或统计模型,以及如何在风格迁移中保持图像的语义内容和结构信息的一致性。本文以真实照片作为内容图像,绘画作品作为风格图像进行图像风格迁移,以机器学习和深度学习为理论框架,研究语义信息在图像风格迁移中的应用,提出一系列图像风格迁移新方法,本文取得的主要研究成果概括如下:1.提出一种基于语义分割的黑白肖像画风格迁移方法。现有的基于图像处理的风格迁移方法往往对图像整体采用同样的处理方法,导致在人脸边缘处出现噪声,或丢失重要细节;基于样例的方法通常将人脸图像划分为图像块,会破坏人脸图像的结构完整性,最终导致肖像画合成结果中产生伪影,视觉质量较差。针对以上问题,提出使用由粗估计到细分割的语义分割方法,提取人脸照片的不同语义区域,对不同区域采取不同的风格迁移方法。既可以保留不同语义内部的结构完整性,同时可以结合不同风格迁移方法的优势。此外,结合全局结构模型,对不同部件的合成结果进行联合建模,平衡生成肖像画的内容相似性和风格相似性,从而实现人脸黑白肖像画的合成。实验结果表明该方法相比现有方法在合成人脸肖像画的质量、人脸结构信息保持,以及与样例肖像画的风格相似程度上均有优势和显著提升。2.提出一种基于双注意力风格内嵌网络的语义风格迁移方法。在风格迁移中,用户更关注生成图像的风格与风格图像的语义对应性。现有方法往往对风格进行全局迁移,而不考虑语义对应性。此外,目前利用语义信息进行风格迁移的方法大都基于图像优化的迭代计算方法,运算量大,迁移速度慢,无法满足风格迁移在社交娱乐应用中的实时性需求。针对这一问题,提出通过利用语义分割引入图像的语义标签信息,并设计基于语义标签的风格内嵌网络,利用语义注意力机制和风格注意力机制对语义对应关系和特征相关性联合建模,对风格特征进行内嵌表示。实验结果表明,该方法与现有方法相比,能够实现语义对齐的图像风格迁移;同时端到端的网络结构能够提升风格迁移的运行速度,达到实时风格迁移。3.提出一种基于流派表示空间和语义引导重构的图像风格迁移方法。现有的基于深度学习的图像风格迁移方法虽然在单张图像风格迁移上取得了一定进展,但采用单张风格图像无法体现出艺术家或流派的整体风格。此外,现有方法仅约束风格迁移结果与内容图像在全局的结构相似性,导致局部结构信息损失,破坏了风格迁移结果的结构完整性。针对这一问题,提出通过自编码重构,建立流派风格表示空间,学习流派整体风格;同时通过语义引导重构风格特征,在风格迁移过程中保持局部结构信息。实验结果表明,该方法相比现有方法能够迁移流派整体风格,同时保持局部结构信息,提升图像质量。4.提出一种基于双一致性损失的图像流派风格迁移方法。在跨域图像风格迁移任务中,要将图像从照片域映射到艺术作品域,需要通过训练模型学习照片和艺术作品之间的映射关系。现有的基于跨域重建的图像风格迁移方法只学习像素层面的映射关系,而忽略了艺术作品风格和主题之间的对应关系,导致模型不能很好地模拟画家的创作机制,使结果缺乏多样性。针对这一问题,构建语义相关的照片-风格数据对,并提出双一致性损失训练生成对抗网络,对风格一致性和语义一致性进行监督,从而获得照片域到艺术作品的语义对应关系。实验结果表明,该方法相比现有方法更能模仿艺术家的创作机制,对于不同语义内容生成不同的风格迁移结果,在保持内容图像结构信息的同时,提升风格迁移结果的多样性及语义对应性。
其他文献
随着无线通信技术的进步,移动通信系统所提供的服务类型从1G中单一的模拟话音业务演变为5G中多样化的数据业务。而随着社会发展需求的推动,实现万物互联的物联网展现出巨大的应用潜力和市场前景。作为5G标准中支持物联网机器间通信的关键场景,海量机器类型通信(massive Machine-Type Communications,mMTC)场景展现出如下显著特点。(1)设备的海量特性与极高的部署密度;(2)
电磁场看不见又摸不着,但却无处不在地存在于我们的生活中。无论是在军事还是民用领域,人们所处的电磁环境都在变得越来越复杂,人们想要了解的电磁问题也变得越来越精细、越来越庞大。在诸多电磁数值算法中,表面积分方程法由于其理论精度高、离散单元少的优点,一直以来被计算电磁学领域的学者们广泛关注。面对日益增长的电磁仿真需求,即使是积分方程法的快速算法,也很难在有限的计算资源内求解现实电磁环境中的超电大问题、系
现实世界中,不同领域的复杂系统和结构,例如物流学中交通运输系统、社会科学中的社交系统、信息预测与推荐系统、认知科学中的知识图谱、生物学中的蛋白质交互结构、化学中的分子结构等都可以抽象为一种复杂网络(或图)结构化的数据形式进行表达。网络数据中的节点和连接节点之间的边分别代表了相应的实体和实体之间的联系。对网络数据的结构分析和特征表示研究具有非常高的学术价值和潜在的应用价值。其中,复杂网络中的一个最基
癌症严重阻碍了人类预期寿命的提高,而且其发病和死亡人数也一直在持续上升。肿瘤的术前精确诊断和预后评估可以帮助医生根据每个患者的病情制定合适的个体化治疗方案,具有重要的临床意义。然而,在实际的临床工作中,肿瘤的异质性导致了术前穿刺活检的结果可能存在偏倚。尽管完整肿瘤样本的病理学分析能够实现最精准的诊断,但术后的病理学分析存在滞后性。因此,术前的无创精准诊断和预后预测是目前临床工作的一大挑战。伴随着计
近年来无线通信技术迅猛发展,尤其是移动通信技术分别历经了GSM、CDMA、LTE、5G等,这些技术的革新推动了通信行业的发展。如何高效的管理无线资源一直是通信行业探讨的热点,无线资源调度作为无线资源管理的核心部分也受到科研工作人员越来越多的关注。传统的无线资源管理往往是站在运营商的角度提高运营的盈利,例如优化系统的吞吐量、最小化系统时延和丢包。如今本着顾客至上的原则,移动运营商也越来越重视用户体验
光电转换在现代社会中应用广泛。通过选择不同带隙的半导体材料可以构筑不同波段的光电子器件。二维材料由于种类丰富,电学和光学性质优异近年来被广泛应用于光电子器件中。然而由于二维材料的超薄特性,其绝对光吸收有限制约了其在光电领域的应用。通过构筑二维有机无机异质结可以有效解决二维无机材料光吸收不足的问题,实现材料之间的性质互补,为构筑高性能的光电子器件提供基础。本文主要研究通过构筑高质量的有机无机异质结实
随着互联网技术的快速发展和移动成像设备的普及,视频已经成为人们生活中获取信息的重要途径。人体行为识别是计算机视觉和视频处理领域的重要研究内容之一,是视频分析和理解的基础,已广泛应用于智能监控、视频检索、军事侦察、人机交互和无人驾驶等领域。传统的行为识别方法主要依靠人工设计特征对视频中行为进行描述,存在适用性和鲁棒性较差等不足。近年来,随着计算机运算能力的提升,基于深度特征的建模方法在行为识别领域受
共形阵列是阵列流形和其安装载体保持一致的阵列。除了机械结构方面的优势外,共形阵列还提供了360度空间的全方向快速扫描和覆盖能力,这是传统阵列天线所不具备的特点。作为新一代雷达和通信等领域的关键,毫米波技术是当前研究的热点,而毫米波的波长极短和强耗损特点,使得毫米波结合大规模阵列成为重要的技术解决途径。作为当下阵列信号处理的两个研究热点,共形阵列和毫米波阵列的结合在可预见的未来会成为一个重要的研究方
近年来,车联网领域的研究活动非常活跃,也取得了巨大进步。这些研究深入分析了如何设计车联网环境下的数据分发协议及其相关算法。如今,车联网仍然是一个保持快速发展且十分活跃的领域,与此同时车联网领域也存在大量的研究挑战及待解决的问题。另外,无线通信技术的不断革新也给车联网带来了前所未有的应用挑战。在车联自组织网络中,车辆与车辆、车辆与路边基础设施之间,利用无线通信技术进行数据分发的主要目的是为了进一步提
目前,随着雷达工作频段的日益增高以及宽带雷达的广泛应用,近场散射研究已不仅仅局限于实验测量方面。在实际应用中,尤其是雷达导引头制导、引信回波分析等方面都需要对目标与环境的时域近场散射特性进行深入的研究。本文针对电大尺寸目标与环境的时域近场电磁散射问题,基于时域电磁散射理论,对近场波束照射条件下的时域弹跳射线方法进行了深入的研究,并在此基础上开展了基于时域散射回波的雷达成像方法的研究。本文的主要研究