性别迁移中图像背景的动力学研究

来源 :河南大学 | 被引量 : 0次 | 上传用户:DownLoad0005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像的风格转换拥有着广阔的应用领域和很高的实用价值,随着高性能计算机的快速发展以及深度学习研究算法的引入,如今社会对实现图像风格转换有了更高的要求。因此,高质量的图像风格转换现已成为深度学习领域的研究热点和难点。循环一致生成式对抗网络(CycleGAN)能够使用未配对图像完成风格转换,并在许多实际应用中获得了优秀的效果。但是当迁移任务涉及区分图像的前景与背景时,生成图像的效果却不尽人意。例如,使用CycleGAN进行性别迁移时,图片中复杂多变的背景增加了迁移的不确定性,使部分输出结果中人脸的细节出现明显的损失和失真。现如今针对此问题,大部分分割图像中的前进与背景,或者在训练时采用内置蒙板生成器结构来屏蔽背景对迁移效果的影响。但是对于其中的影响细节却没有做过多研究。为了探究CycleGAN在性别转换中背景对前景的影响,本文对CycleGAN在性别迁移中背景图像影响的动力学特性进行研究,所谓图像背景的动力学特性,是指CycleGAN在性别迁移中,背景的不同特性对前景迁移效果造成的影响,以及二者之间存在的关系,通过掌握这种关系为提高性别迁移生成图像的质量提供了一种新的思路。本文选择Python3.7.1作为编程语言,在Tensorflow 1.13.1神经网络搭建平台进行。图像处理部分采用Open CV 3.4.1,论文的主要工作包括以下内容:(1)探究不同背景下性别转换生成图像的质量,需要在原始人物图像样本集的基础上进行样本扩充,获得规则化图像背景复杂度的多组源域样本训练集。实验首先通过语义分割网络Deep Lab V3+模型分别对男性和女性人物样本集进行人物区域前景分割,利用图像的ROI区域选择与复制技术,将不同背景特性的图像与分割得到的人物前景融合,构建出多组不同背景复杂度的源域集,为了简化样本集的构建难度,实验采用男性作为源域样本,女性作为目标域样本。(2)搭建风格迁移网络CycleGAN结构,针对在不同复杂度的训练样本下,循环一致损失系数的取值会对最终模型的效果产生影响,实验在充分调研相关文献,选择合理的取值,便于后续实验更好的生成高质量的图像。采用控制变量的思想,保证各组实验只有背景变换,在前景与网络各参数不变的前提下进行迁移训练,并经过相同迭代次数后得到各组实验的训练模型,最后采用相同的测试集对各组模型进行测试。(3)对背景和测试结果进行数据分析和质量评估。不同的实验组,其测试结果会有不同程度的失真,为了选择一种能够很好满足在不同失真的大数据集上与主观评分具有高相关度的图像质量评估方法,实验对图像从亮度、纹理和对比度三个方面进行了深入分析。并最终结合以上三个方面利用MS-SSIM图像质量评估法对背景和测试结果进行质量评估,发现了源域与目标域背景MS-SSIM值的反比例特性。即Domain X与Domain Y的MS-SSIM值越大,训练得到模型生成图像的质量越差。对今后改善前景风格迁移图像质量提供了一种新的思路。
其他文献
改革开放以来中国经济快速增长的同时,区域经济发展不平衡问题也日益突出。尤其是区域经济发展分化态势加剧、增长动力极化现象日益突出。区域经济发展的空间格局正在发生深
图像描述任务致力于赋予计算机“看图说话”的能力,即在给定输入图片的条件下自动生成符合自然语言表达习惯且真实反应图像内容的文字序列。该任务通常会采用图像识别模型或
随着云计算和互联网的快速发展,数据的指数级增长对其存储与管理带来了巨大的挑战。暗数据作为一种无标签无关联的数据资源,一直占据着大量的存储空间,却难以在当下发挥价值。若用户盲目的对暗数据进行数据挖掘,可能会导致巨大的成本浪费。因此,在对暗数据进行挖掘之前,先对它进行语义分析和价值评估具有着重要意义。本文通过研究图像哈希算法及图结构排名算法在暗数据价值评估方法上的应用,设计和实现了一套基于相似性哈希的
对于不满足根治手术条件的紫绀型先天性心脏病患儿,通常需要采用体肺分流术来提高血氧饱和度、缓解紫绀和促进肺动脉发育。本文根据研究案例的CT影像图和临床数据,建立了左右
如今,随着AR/VR等产业的发展,人们对计算机图形视觉效果逼真程度的要求日益提高,真实感渲染领域的技术发展迅速,应用潜力巨大。真实感渲染即在计算机上生成模拟现实物体表面
5G移动通信系统将于2020年左右商用,其网络速率将会达到10 Gbps,频谱效率会是4G的10倍,而且需要能够支持海量用户。为实现这一目标,新型多址接入技术、网络架构、调制技术的引入势在必行。正交频分多址(OFDMA)是4G移动网络的核心技术,其接入的用户数会受到可调度的时频资源的限制,已不能满足5G的高要求。稀疏码多址接入(SCMA)技术可以有效解决这一问题,它通过在时频资源之外引入稀疏分布的
近些年来,深度神经网络(DNN)飞速发展,卷积神经网络(CNN)作为DNN中的一个重要网络模型在计算机视觉、自然语言处理、语音识别等领域都取得了令人惊讶的表现。然而,Szegedy等
二进制代码函数识别是许多二进制代码检测和分析任务的基础,如二进制代码重用、控制流图生成和执行语义分析。它是逆向工程的一个基本问题。二进制代码分析的难点在于多数软
随着人工智能时代的来临,移动机器人技术的研究越来越多地受到人们的青睐,涉及到各行各业,如工业、农业、服务业、国防等。轮式移动机器人改善了人类的生活方式,具有提高工作
我国是一个农业大国,在近几十年的农业生产生活中,病虫害一直是影响农业生产的主要因素之一。随着科技的发展,有机磷农药因其低毒、高效、选择性强等特点而被广泛应用于农业