基于语义对应的解耦妆容迁移算法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:wspywps110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
给定一张未化妆的源图像和一张任意妆容的参考图像,妆容迁移目标是生成一张新的图像,该图像具有参考图像口红、眼影、腮红等妆容信息,又保留源图像人物身份、表情、姿态以及背景等内容信息。因其广泛的应用场景和巨大的市场需求,妆容迁移得到了越来越多的关注和研究。在妆容迁移任务中,主要有两方面的内容需要学习,一方面是建立源图像和参考图像之间的语义对应关系,另一方面是提取参考图像的妆容信息。现有的妆容迁移算法利用人脸解析结果,建立了源图像和参考图像之间的区域级语义对应关系,例如源图像嘴唇区域对应参考图像嘴唇区域。然而,区域级语义对应关系不能满足妆容迁移的要求,导致参考妆容未能准确地渲染到源图像的语义对应位置。此外,由于妆容信息未能从参考图像中完整地提取出来,导致眼影、腮红等妆容未能有效地迁移到源图像中,生成结果与参考图像的妆容风格存在一定差异。针对上述问题,本文提出了一种基于语义对应的解耦妆容迁移算法,论文的主要研究内容如下:1)针对源图像和参考图像之间的语义对应关系,构建语义对应网络,利用特征匹配模块,建立两者之间像素级语义对应关系。本文像素级语义对应关系是指在源图像中随机选择一个空间位置坐标,在参考图像中计算出与之语义最相近的空间位置坐标。在语义对应网络中,首先使用卷积神经网络分别提取源图像和参考图像的特征变量,然后利用特征匹配模块计算两个特征之间每个空间位置上局部变量的相关性,最后经过对应增强操作,建立源图像和参考图像之间像素级语义对应关系。与未使用语义对应关系的本文算法相比,实验数据表明像素级语义对应关系提高了妆容迁移结果的图像质量(FID降低了4.85),保留了更多源图像的内容信息(SSIM提高了0.012),提取了更丰富的参考图像的妆容信息(LPIPS降低了0.037)。得益于像素级语义对应关系,本文算法对人物姿态和表情具有较好的鲁棒性并能不加修改的扩展到视频妆容迁移任务中。2)针对妆容信息提取不完整问题,引入解耦表示思想,提出一个特征解耦的妆容迁移网络架构,将输入图像分解为内容特征和妆容特征,促进妆容信息的提取。在妆容迁移网络中,首先使用不同功能的编码器分别提取输入图像的内容特征和妆容特征,然后利用语义对齐模块将像素级语义对应关系嵌入到妆容迁移任务中,最后将内容特征与交换后的妆容特征融合,生成妆容迁移与移除结果。在网络训练阶段,利用合成的伪成对数据,进一步引导内容特征与妆容特征的分解,提高妆容迁移结果的质量。从定性角度分析,与其他算法相比,本文算法生成的妆容迁移结果与参考图像的妆容风格视觉上更为相似,尤其是眼影、腮红妆容。从定量角度分析,与妆容迁移算法PSGAN相比,在评价生成质量的指标FID上,本文算法降低了3.78;在衡量源图像内容信息保留的指标SSIM上,提升了0.163;在描述妆容相似度的指标LPIPS上,降低了0.045。由于将妆容特征分离了出来,本文算法不仅可以应用到妆容移除场景,而且可以随意地调控妆容风格的强度。
其他文献
传统的可重构架构,例如现场可编程门阵列(FPGA)面临存储资源稀缺和路由开销较大等问题,难以满足未来数据密集型应用的需求。忆阻器能够在器件级实现存储计算一体化,基于忆阻器实现的存算互换架构有望解决上述问题。存算互换架构基于忆阻器交叉阵列结构实现,可将逻辑、互连和内存无缝地合并在一起,从而提供了更大的硬件资源灵活性,可以灵活地处理数据密集型或计算密集型应用程序,目前已得到了广泛的关注。虽然新型存算互
学位
《〈论语〉十二章》体现了孔子的学习观和修身思想。本文以义务教育阶段语文核心素养为依据,借助群文阅读的理念,对该篇课文进行教学设计,共分为五个部分。第一部分阐释本次群文阅读的价值与可行性,第二部分是议题的确立,第三部分是教学内容的选择,第四部分是教学设计,第五部分是教学思考,希望给一线教学提供帮助。
期刊
随着信息技术革命的日益推进,数字化转型成为中小物流公司在未来生存发展的必然需要。本研究集中探讨了数字鸿沟情景下中小企业数字化转型的“不敢、不会、不能转”的数字鸿沟问题,从数字鸿沟视角为中小企业数字化转型提供了实现路径,有助于中小企业更加深刻地剖析自身存在的问题。
期刊
本文以2012—2020年中国A股上市企业为研究样本,实证分析不同生命周期阶段的数字化转型对企业价值的影响。研究结果表明:(1)随着生命周期的推移,数字化转型与企业价值之间呈现先上升后下降的倒U型关系,且数字化转型不能显著提高衰退期企业价值;(2)数字化转型通过技术创新和业务创新影响成熟期企业价值,且数字化转型仅通过技术创新影响成长期企业价值;(3)数字化转型对国有企业和高市场化地区企业价值提升的
期刊
随着计算机的飞速进步和互联网的迅速扩张,人工智能、大数据和5G技术在2015年到2020年期间取得了巨大的进展。伴随着这些高科技的发展,用户在各种计算机终端设备上,访问的信息形式发生了由文字到音频、音频到图像、图像到视频的巨大转变。在图像的采集和传输过程中很容易会受到多种不同原因的影响而使得图像的质量变差的情况。为了缓解这些因素对图像的影响,更加先进的图像去噪技术迫切需要被提出。本文以图像去噪为基
学位
随着近年来生物测序技术的迅速发展,基因数据井喷式增长,测序在生物信息学研究中扮演了重要的角色。在育种实践中,由于样本规模较大,高密度的测序数据获取成本较高,通常会采用高低密度测序混合的方式来获取基因型数据,分析计算时再利用基因型填充工具将低密度数据填充为高密度数据以获得更准确的选种选配结果。基因型填充主要是利用缺失位点与附近位点的遗传连锁不平衡特性来推断缺失值。传统填充方法大多是基于隐马尔可夫模型
学位
近年来少样本学习受到了很多关注,它旨在从少量有标签训练数据中实现快速学习和泛化。少样本图像分类作为少样本学习的主要分支,它的目标是在每个类只提供单个或几个训练样本(支持样本)时学习一个分类器以识别测试样本(查询样本)的类别。在少样本学习中应用元学习的思想可以帮助模型在相同类型任务之间迁移有用的元知识,一定程度上减轻样本量少带来的问题。但是少量样本带来的信息十分有限仍不足以充分表示一个类别。在元学习
学位
随着互联网新闻资讯数量的急剧增长,用户常常会面临巨大的阅读障碍,难以及时且准确地知悉新闻资讯的主要内容。在此背景下,为了满足用户快速获取新闻概要的需求,对大规模新闻资讯进行智能化概述,开展文本自动摘要技术的研究尤为必要。本文以大规模新闻数据集为研究语料,以增强生成摘要包含的主题语义信息为主线,分别开展了抽取式自动摘要、生成式自动摘要以及生成式模型训练优化等方面的改进研究工作,最终采用“先抽取,再生
学位
随着全球移动数据流量呈爆炸式增长,移动视频将成为移动网络中最主要的服务之一。边缘缓存技术将内容存放在更接近用户的网络边缘端,能有效降低请求延迟和网络负载。现有的边缘缓存工作主要从系统或用户的角度展开研究,旨在减少传输延迟、降低系统能耗和提升用户体验等,但移动视频服务的主体是内容提供商,较少工作考虑内容提供商的缓存经济成本。为此本文从内容提供商的角度对视频边缘缓存问题展开了深入研究,主要包括:多个内
学位
数字化转型对企业绩效的影响机制是近年来学界和业界关注的重要议题。本文针对这一领域的研究成果,首先对数字化转型的概念内涵以及其与企业绩效关系的理论依据进行系统评述;其次,归纳数字化转型对企业绩效的直接影响,如促进作用、抑制作用、曲线效应,以及数字化转型与企业绩效关系的情景因素和中介变量;最后,提出未来研究方向,包括数字化转型行为的演变规律及对企业绩效的动态影响机制、数字技术和商业模式变革对于提升企业
期刊