基于跨域特征学习与融合的无监督人脸画像合成

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:macrosoft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸画像合成,是指将给定的人脸照片转换为某种艺术风格的肖像,如素描、钢笔画等。现有工作通常利用成对的照片-画像数据集,以有监督的方式训练画像合成模型,以获得较好的生成效果。然而,获取成对的照片-画像数据集需要耗费大量的时间、人力和财力。因此,无监督人脸画像合成方法,即从非成对照片-画像数据中学习照片域到画像域的映射关系,具有重要的研究价值。现在,研究人员已经提出了少量无监督人脸画像合成方法。不过,这些方法所合成的画像在纹理细节逼真度、几何结构一致性等方面仍然存在缺陷。为了解决这些问题,本文从跨域图像翻译的角度开展研究,分别提出了一种新颖的跨域特征学习方法和一种新颖的跨域特征融合方法,显著提升了无监督人脸画像合成的质量。本文的研究工作主要包含以下两点:(1)首先,本文提出了一种基于风格特征对比学习的无监督人脸画像合成方法。本方法主要解决“照片-画像”跨域图像翻译过程中,内容特征与风格特征分离能力欠缺的问题。具体而言,本方法首先基于对比学习构建判别式风格编码器,实现对图像风格特征的分离,提升对画像风格的表征能力。其次,基于动量网络利用整体域特征对样本个体特征进行平滑,减少样本之间的风格偏差,提升了风格特征的一致性与画像合成的鲁棒性。最后,利用多层次多尺度的条件判别器提升域判别能力,促使生成器合成更逼真的画像细节。本文在多种风格的人脸画像合成任务上进行了实验。定量和定性分析结果表明,该方法显著提升了人脸画像合成的质量,在视觉效果和指标评价上都大幅优于现有无监督人脸画像合成及跨域图像翻译方法。(2)其次,本文提出了一种基于尺度自适应特征融合的无监督人脸画像合成方法。本方法主要解决“照片-画像”跨域图像翻译过程中,局部特征融合能力不足的问题。具体而言,本方法首先利用多层次多尺度自适应卷积,在不同维度的解码特征空间中,实现多尺度局部特征融合。其次,基于对比学习构建判别式内容编码器,提升对图像内容特征的提取能力,以保障“照片-画像”跨域图像翻译过程中人脸结构的一致性。最后,利用基于滤波器响应归一化的投影判别器,提升小批量数据下生成对抗网络训练的稳定性和域判别能力。定量和定性实验表明,该方法进一步提升了人脸画像合成的质量。而且,该方法在视觉效果和指标评价上都大幅优于现有无监督人脸画像合成及跨域图像翻译方法。整体而言,本文从跨域图像翻译的角度对无监督人脸画像合成任务进行研究,提出了两种创新型方法:即基于对比学习的跨域特征学习方法和基于尺度自适应的特征融合方法。在多种风格的人脸画像合成任务中,所提方法可以基于非成对人脸照片-画像数据有效学习到照片域数据和画像域数据之间的跨域映射关系,并显著提升合成画像的质量。本文工作对无监督人脸画像合成的理论研究和应用推广具有重要价值。
其他文献
多目标优化问题(Multi-objective Problems,MOPs)是现实世界中极为常见的难题,因为其多个目标之间往往互相冲突,无法同时达到最优。多目标优化算法(Multi-objective Optimization Evolutionary,MOEA)是解决MOPs的重要方法,其中基于分解的多目标优化算法(Decomposition-based Multi-objective Opti
学位
继我国全面打赢脱贫攻坚战,我国的“三农”工作重心发生了历史性转移,我党开始全面部署实施乡村振兴战略。自乡村振兴提出以来,党中央在乡村振兴政策制度供给上不断发力,促使大量公共资源开始向乡村领域倾斜。在权力层层下放过程中,乡村振兴领域难免会出现资金闲置浪费、项目建设偷工减料等诸多问题。为了更好地监督乡村振兴政策的贯彻落实,国家审计机关高度重视并积极开展乡村振兴政策跟踪审计实践。然而,乡村振兴政策部署尚
学位
七普与六普数据相比,临沂市呈现人口规模增长、老龄化加剧、家庭规模小型化的趋势。分析2010—2020年临沂市的人口结构和住房需求数据,用主成分分析和多元线性回归模型相结合的方法,结论显示:人口总量、收入、平均家庭户规模对临沂市住房需求影响最大。据此提出了临沂市住宅市场供需平衡发展的对策和建议。
期刊
患有色觉缺陷(CVD)的人难以区分颜色,全世界约有2亿人受到色觉缺陷疾病的影响。生活中最常见的色觉缺陷类型是L椎体细胞缺陷和M椎体细胞缺陷,我们通常称为红绿色盲。由于L椎体细胞缺陷和M椎体细胞缺陷是由性染色体X染色体上的基因决定的。因此,男性比女性更容易患上这种遗传性疾病,且目前的药物无法治愈。这种疾病会导致可识别信息的丢失,从而严重影响日常生活,甚至可能使他们面临危险。为了帮助CVD患者改善日常
学位
从单张图片中进行三维人体姿态与形状估计是计算机视觉中一个开放问题。由于图片天然缺乏深度信息,模型很难获取真实的深度信息。并且在真实场景中,遮挡问题普遍存在,导致人体可见信息不全。此外,对人体模型进行服装建模仍然是一个复杂问题。遮挡问题是人体姿态和形状估计任务中一个关键问题,其中遮挡包括人体的自我遮挡、物体与人的遮挡以及人与人之间的遮挡。为此,本文提出了一个新的框架,它整合了可遮挡感知的轮廓和2D关
学位
知识图谱是一种高度结构化的语义知识库,在语义检索、个性化推荐等领域有着广泛应用。三元组抽取作为知识图谱构建过程中至关重要的步骤,目的是从文本数据获取两个物理事实之间存在的客观联系。面向限定领域的三元组抽取方法需要预先定义所有实体和关系类型,使用机器学习或深度学习的方式在大规模数据集上训练分类模型。然而,在实际应用中实体和关系类型都会随着文本量的自然增长而增加,预先定义所有实体关系类型较为困难。对此
学位
脑机接口系统(Brain Computer Interface System,BCIs)是一种不依靠外周神经通路和肌肉等常规信息传递通道来控制外部设备的系统。传统单脑运动想象脑机接口作为最常见的主动式脑-机交互范式,存在信息传输速率较低、稳定性差等问题,难以满足快速、高精度、多指令等复杂作业的性能需求。近几年,越来越多的学者开始研究如何将基于脑电的脑机接口单脑范式向多脑扩展,以得到更稳定的分类结果
学位
随着大数据时代的来临,各行各业每时每刻都在互联网中产生数据,数据体量正以指数级的速度增长。然而,在执行诸如在线预定、自动存取款、库存控制等操作时往往需要结构化数据,而结构化数据的获取依赖于自然语言处理中的信息抽取技术,信息抽取技术可以实现数据从非结构化到结构化的过程。信息抽取技术的核心子任务为命名实体识别和关系抽取,通过命名实体识别和关系抽取,可以快速抽取出句子中的有效信息,服务于日常生活中的各种
学位
早在新冠肺炎疫情冲击之前,福建省已处于经济增速换档期、结构调整阵痛期和前期政策消化期等“三期叠加”的困境之中,但新冠疫情使福建省经济又面临着“需求收缩、供给冲击、预期转弱”的三重压力。全省经济加速下行,集中表现为各市场主体资产负债表的全面衰退;而金融则充分发挥了跨周期逆周期调节作用,全面体现了金融为民的使命担当。新冠疫情充分暴露了福建省经济运行中的结构性和体制性问题,同时也重塑了社会经济生活秩序,
期刊
有限元分析作为目前广泛应用的数字化仿真技术依赖模型的离散化,模型离散化主要将模型转换成四面体网格模型或六面体网格模型。针对目前单一六面体网格生成与构造困难的问题,提出了一种基于体细分的复杂六面体网格模型交互式构造方法并构建了一个建模系统。此系统在建模阶段就以六面体网格单元作为基础形式进行构建,省去了将三角形表面网格转为六面体网格耗时的步骤,且将这种方法应用于拓扑优化结果CAD重建阶段生成Bézie
学位