论文部分内容阅读
图像生成和图像转换是目前计算机图像学和机器视觉领域中的基本问题,在现实生活中具有广泛应用:扩充研究数据集、图像属性转换、人脸图像编辑等。近年来,伴随深度学习发展而兴起的GAN(Generative Adversarial Networks,生成对抗网络)在图像生成和转换问题上取得了非常瞩目的成果。传统生成模型在对图像这种高维度随机变量建模时十分困难,并且泛化生成能力差,而GAN可以通过学习的方式理解图像的特征内容,生成逼真且具有多样性的图像。现有的GAN也存在一些问题:在图像生成方面,很多网络模型生成的样本有较大的随机性,不能按照需求生成指定图像;在图像转换方面,大部分网络模型只能在配对数据集上进行双域转换,高效的多域转换模型还需要进一步研究。本文在现有GAN模型的原理和结构基础上设计两组改进模型,分别用于在限制条件下生成人脸图像和多域间的图像转换。论文主要内容如下:(1)在相关原理和技术方面:首先分析卷积神经网络的架构和原理,对深度神经网络的反向传播算法进行推理,然后详细阐述GAN的基本思想和理论,并推导其数学原理,最后介绍GAN发展过程中两个非常重要的衍生模型,为后续的改进模型提供框架和理论基础。(2)针对按照特定条件生成图像的问题,选择人脸图像作为研究对象,设计改进一种根据部分面部特征生成整张人脸图像的GAN模型。相应改进模型的生成器首先对含有关键面部信息的部分人脸图像使用混合空洞卷积组成的残差网络提取特征,然后根据CGAN(Conditional Generative Adversarial Networks,条件生成对抗网络)的原理,将提取到的特征作为限制条件与随机噪声结合,最后采用先插值再卷积的方式生成完整人脸图像。判别器的输入中添加不匹配项用以指导生成器生成符合条件的图像。对网络训练的损失函数进行改进,并且使用WGAN(Wasserstein Generative Adversarial Networks,瓦瑟施泰因生成对抗网络)的原理稳定网络训练过程。相应实验的测试结果表明改进模型能够生成符合需求条件的逼真图像。(3)针对非配对数据集上的多域图像转换问题,设计改进一种基于循环一致原理的多域图像转换GAN模型。结合Cycle GAN(Cycle-Consistent Adversarial Networks,循环一致性生成对抗网络)中的循环一致原理和Ic GAN(Invertible Conditional Generative Adversarial Networks,可逆条件生成对抗网络)使用特征向量控制生成图像属性的方式对相应模型进行改进。改进模型在生成器中采用深度残差网络加深网络结构,使之有更强的非线性表达能力。在判别器中增加域分类功能,使转换得到的图像符合目标域特征。在网络训练的目标函数中添加循环一致损失和域分类损失,使模型可以按要求完成转换任务。通过在公开数据集上的实验表明,改进模型可以准确高效地进行图像间多域属性的转换,并且转换后的图像在清晰度和真实性上表现优异。