论文部分内容阅读
自2014年生成对抗网络被提出以来,就受到了众多学者的高度关注和广泛研究。随着更多深度学习网络结构和优化技术的提出,生成对抗网络在理论和应用上也取得了很多的研究成果。尽管如此,生成对抗网络模型收敛的条件、如何稳定训练和提高生成图像的质量等关键问题仍然是一个具有挑战性和开放性的课题;如何更好地将对抗式的训练方法应用到像素级图像处理任务,比如图像超分辨也是一个值得深入研究的问题。本文针对生成对抗网络训练不稳定、梯度消失、模式崩塌以及其在超分辨图像重建的应用等关键问题进行了研究。对混合模型和标准模型提出了多种改进方案,提高了模型训练的稳定性和生成图像的质量;提出了一个新的单图像超分辨模型,通过引入自注意力、密集连接和对抗训练的方法提高超分辨图像的全局一致性和纹理清晰度。本文的主要研究成果概括如下。针对边界平衡生成对抗网络生成图像多样性不足、类噪声区域多、不平滑等关键问题,提出了一种简单而有效的方法。该方法为判断器增加降噪损失,提高判断器区分真实数据和生成数据的能力,使生成的人脸图像更加光滑;为网络增加批归一化,使生成的图像特征更加丰富;同时评估了不同方法在边界平衡生成对抗网络框架上的效果;并且通过空间一致性实验证明了生成器的泛化能力。针对标准生成对抗网络训练不稳定、生成器无梯度优化、生成图像多样性不足等关键问题,本文提出了两种简单有效且易于实现的方法DRRGAN和GAN-RL。DRRGAN通过为判断器增加一个特征输出作为生成器解噪真实数据的输入和潜在代码的重构,使整个网络可以学习到真实数据分布的一些特征信息,因此能改进标准生成对抗网络的性能,生成质量更好的图像。GAN-RL的生成器利用判断器学习到的特征来重构真实数据,能提高判断器学习数据特征和生成器生成每一种模式的能力。GANRL具有能提供稳定的梯度信号、对超参鲁棒、并能与其他正则方法相结合以改进其性能的优点。针对仅由像素损失生成的超分辨图像过于平滑和纹理不清晰等问题,本文利用对抗式训练方法生成了纹理更自然和真实的高分辨率图像。为充分提取低分辨率图像空间的特征和减少模型增大感受野对深度的依赖,所提模型DSSA_GAN为其生成器引入残差组之间密集连接和自注意力机制。生成器首先由像素损失预训练,然后引入对抗训练的方法,从而使判断器更加专注于真假图像之间的纹理判断,生成更真实的高分辨率图像。本文所提的方法均在相关的数据库上进行实验验证。实验结果表明针对边界平衡生成对抗网络的改进方法提高了训练稳定性;针对标准生成对抗网络的改进方法DRRGAN和GAN-RL不仅训练速度快,效率高,引入的计算负载少,而且能应用到多种网络结构上。在多个标准测试集上通过多种评估方法检验所提的超分辨模型DSSA_GAN的性能,实验结果证明了所提模型的有效性。本文的研究成果为生成对抗网络的理论研究和性能改进提供了思路,对对抗训练在图像超分辨上的应用具有指导意义。