基于属性分解的图像风格可控迁移理论与方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:byekao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像风格迁移是计算机视觉领域的主要研究方向之一,在电影摄影、平面设计、医学成像等领域有广泛应用。现有工作虽然取得了许多重要进展,但风格迁移的多样性、局部迁移的精确性、跨模态迁移的一致性等方面存在明显缺陷。例如,风格转换主要是机械式地搬移已有参考图像的风格特征,而并非赋予图像全新的风格信息;局部属性特征编辑任务对复杂结构属性图像生成效果不理想;多模态风格迁移任务的交互性问题有待完善。针对上述挑战,本文在讨论已有风格迁移算法的理论研究的基础上,分别从全局风格编码、局部属性调整以及基于文本属性引导的局部风格迁移三个方面进行优化,并分析主客观实验对比结果。(1)针对现有风格转换工作机械式地搬移已有参考图像的风格特征现象,本文设计了能够赋予图像全新风格的网络。该网络分为两个阶段,分别是风格生成阶段和风格迁移阶段。风格生成模型是基于生成对抗网络的算法,风格迁移模型是基于风格向量化的自适应实例归一化算法。实验表明,该网络能够生成种类丰富、细节清晰且符合人类审美的高质量风格化图像,填补了生成新风格图像领域的空缺。(2)针对现有局部属性编辑任务对复杂结构属性图像生成效果不理想的现象,本文同时对隐特征空间和生成的图像设置属性标签约束,通过双重约束优化的策略,更好地保证了属性编辑细节的准确性,从而改进了人脸局部属性编辑的算法。同时,本文还在此基础上提出该算法的一项应用,利用新增属性标签向量的维度来储存全局新风格,达到同时编辑局部属性和赋予全局风格的目的。实验表明,该算法对人脸细粒度属性编辑效果较好,其扩展应用模型所生成的图像不仅能编辑指定的局部属性、也能赋予图像全局的艺术风格,具有更高的趣味性和必要性。(3)针对多模态风格迁移任务的交互性有待完善的现象,本文学习文本-图像两种模式中的映射对应关系,提出了一种基于文字引导的多模态人脸属性编辑方法。借助基于注意力机制的双线性长短期记忆网络提取文字特征,将提取到的文字特征经过一系列映射变换,再将其嵌入到优化的人脸属性编辑网络,从而实现文本引导的多模态人脸属性编辑任务。实验表明,该网络既能够较准确地完成文本指导的人脸属性编辑工作、也能赋予图像新的艺术风格,进一步扩展了风格迁移在人机交互领域的应用。
其他文献
<正>根据中国共产党第十八届中央委员会第四次全体会议审议通过的《中共中央关于全面推进依法治国若干重大问题的决定》提出的建设中国特色社会主义法治体系的总目标(1)并按照我国信用体系建设现状、信用自身包含的内容和运行规律,笔者认为,我国信用法治体系的构建,应该包括信用征信法律系统、信用评估法律系统、信用担保法律系统、信用信息共享法律系统、信用监管法律系统、信用标准法律系统、守信奖励与失信惩戒法律机制、
期刊
图像语义分割旨在实现图像的像素级分类,被广泛应用于智慧医疗、安防监控、自动驾驶等场景。近年来,随着深度学习在图像语义分割领域的成功应用,分割精度得到显著提升。然而,基于深度学习的图像语义分割方法依赖大量像素级标注,而标注成本高且效率低,导致实际应用中大规模像素级标注数据集的缺乏。为此,研究学者提出基于图像级标签的弱监督语义分割方法,其具有标注代价小优势的同时,面临位置信息缺乏的难题。建立粗糙的图像
学位
点云是一种空间3D数据格式,包含周围环境的三维几何信息。点云数据的智能感知是众多场景理解任务的基础,然而由于其不规则、无序等特点,传统的卷积神经网络难以直接应用于点云处理。因此先前的方法将点云投影为三维体素网格或二维多视图平面,在造成数据冗余的同时存在关键信息丢失的风险,限制了深度学习在点云处理领域的应用。为此,现有工作致力于设计直接处理原始点云数据的网络架构,而其中作为代替传统卷积作用的点云局部
学位
最近几年,随着互联网的进一步发展和5G技术的逐步应用,地球上每天产生的数据量越来越大,且数据之间的关联性也越来越强。为了能够高效地对这些数据进行分析,数据聚类通常会作为处理这些数据的首要环节,因此人们对于数据聚类的需求也越来越高。另一方面,随着图神经网络的初步成熟,越来越多的研究者也开始使用这一工具来解决一些经典的图问题。本文基于图神经网络技术,对图结构数据的聚类算法进行研究,并针对已有的聚类模型
学位
装载机作为我国重要的工程建设装备之一,其作用对象通常是建筑行业(沙子,碎石,原生土等)、采矿行业(煤炭,铁矿石等)、农业行业(玉米,大豆,马铃薯等)的散体物料。在装载机整个工作过程中,物料铲装工作占比能耗最大,铲斗又作为与物料直接接触的承载体,其设计的合理性将对整机的可靠性和工作效率产生很大的影响,如何设计出铲装性能高的铲斗成为各学者越来越关注的焦点。然而传统的铲斗设计较为复杂且不精准,经过几十年
学位
随着轻量化理念发展,轻量化材料备受关注,而镁合金作为最轻的金属结构材料,且具有较高的比强度,因此极具发展潜力与研究价值。但镁合金强度低,室温塑性差等缺点限制了其广泛使用。本文以高频低幅循环扭转变形硬化处理的方式强韧化镁合金棒材,利用MTS、OM、XRD、SEM以及STEM等设备,借助单轴加载、金相观察、织构测试、断口形貌分析等手段研究处理前后镁合金材料的强韧化效应与微观结构演化,揭示了循环扭转后镁
学位
随着现代信息技术的不断发展,无处不在的终端设备产生了结构复杂的海量数据。由于张量在表示多阶多维数据方面的优势,张量分析得以广泛应用。在数据采集和传输过程中,难免会引起数据部分元素丢失。数据不完整可能会大大降低数据的质量,影响数据分析过程。为了解决张量数据缺失的问题,低秩张量补全备受关注。近年来,张量环分解因其强大而通用的表示能力,在张量补全方面取得了卓越性能。然而,现有的基于张量环分解的数据补全算
学位
目的:探讨正念疗法对青少年抑郁症患者负面情绪、认知功能及生活质量的影响。方法:选取徐州市东方人民医院2020年6月—2022年6月接收的80例青少年抑郁患者为研究对象,根据随机分组法将其分为对照组和观察组,各40例。对照组采用临床常规的抗抑郁药物治疗,观察组在对照组基础上加入正念疗法,比较两组治疗前后的抑郁程度、负面情绪、认知功能、生活质量。结果:治疗后,观察组汉密尔顿抑郁量表(HAMD)评分、正
期刊
随着现代科学技术的不断发展,生产制造业在不断的升级改造。工业在互联网信息技术的加持下正向自动化和智能化发展。我国提出了“中国制造2025”,自动化和智能化是未来工业的趋势。机器视觉是一种新兴的技术,常用于产品的质量检测。如今机器视觉技术被广泛应用到生产制造业中,产品的生产过程更加自动化、智能化,工厂的生产制造效率得到了大幅提高。本文以某公司汽车拼焊件焊点质检出现的瓶颈问题为研究对象,针对拼焊件闭环
学位
情感分析是自然语言处理领域的一个重要研究方向,其主要任务是从博客、评论等文本资源中,挖掘出文本创作者的情感倾向。现有的情感分析方法通常依据文档级别、句子级别等粗粒度信息进行分析,产生的结果是对整体的概括性评价。这使得文本资源没有得到充分的挖掘与利用,造成了部分资源浪费,在实际应用时也面临一定的局限性。相比而言,细粒度情感分析更符合当今时代的需求,它能充分挖掘和利用文本资源,并且能得到更加详细、全面
学位