论文部分内容阅读
图像的风格转换拥有着广阔的应用领域和很高的实用价值,随着高性能计算机的快速发展以及深度学习研究算法的引入,如今社会对实现图像风格转换有了更高的要求。因此,高质量的图像风格转换现已成为深度学习领域的研究热点和难点。循环一致生成式对抗网络(CycleGAN)能够使用未配对图像完成风格转换,并在许多实际应用中获得了优秀的效果。但是当迁移任务涉及区分图像的前景与背景时,生成图像的效果却不尽人意。例如,使用CycleGAN进行性别迁移时,图片中复杂多变的背景增加了迁移的不确定性,使部分输出结果中人脸的细节出现明显的损失和失真。现如今针对此问题,大部分分割图像中的前进与背景,或者在训练时采用内置蒙板生成器结构来屏蔽背景对迁移效果的影响。但是对于其中的影响细节却没有做过多研究。为了探究CycleGAN在性别转换中背景对前景的影响,本文对CycleGAN在性别迁移中背景图像影响的动力学特性进行研究,所谓图像背景的动力学特性,是指CycleGAN在性别迁移中,背景的不同特性对前景迁移效果造成的影响,以及二者之间存在的关系,通过掌握这种关系为提高性别迁移生成图像的质量提供了一种新的思路。本文选择Python3.7.1作为编程语言,在Tensorflow 1.13.1神经网络搭建平台进行。图像处理部分采用Open CV 3.4.1,论文的主要工作包括以下内容:(1)探究不同背景下性别转换生成图像的质量,需要在原始人物图像样本集的基础上进行样本扩充,获得规则化图像背景复杂度的多组源域样本训练集。实验首先通过语义分割网络Deep Lab V3+模型分别对男性和女性人物样本集进行人物区域前景分割,利用图像的ROI区域选择与复制技术,将不同背景特性的图像与分割得到的人物前景融合,构建出多组不同背景复杂度的源域集,为了简化样本集的构建难度,实验采用男性作为源域样本,女性作为目标域样本。(2)搭建风格迁移网络CycleGAN结构,针对在不同复杂度的训练样本下,循环一致损失系数的取值会对最终模型的效果产生影响,实验在充分调研相关文献,选择合理的取值,便于后续实验更好的生成高质量的图像。采用控制变量的思想,保证各组实验只有背景变换,在前景与网络各参数不变的前提下进行迁移训练,并经过相同迭代次数后得到各组实验的训练模型,最后采用相同的测试集对各组模型进行测试。(3)对背景和测试结果进行数据分析和质量评估。不同的实验组,其测试结果会有不同程度的失真,为了选择一种能够很好满足在不同失真的大数据集上与主观评分具有高相关度的图像质量评估方法,实验对图像从亮度、纹理和对比度三个方面进行了深入分析。并最终结合以上三个方面利用MS-SSIM图像质量评估法对背景和测试结果进行质量评估,发现了源域与目标域背景MS-SSIM值的反比例特性。即Domain X与Domain Y的MS-SSIM值越大,训练得到模型生成图像的质量越差。对今后改善前景风格迁移图像质量提供了一种新的思路。