论文部分内容阅读
随着科技的发展和人民生活水平的提升,大家对数字流媒影音图像的视觉质量有了更高的要求,数字电视的分辨率已经从720P,1080P升级为4K甚至8K。而实际生活中的低分辨率图像远远不能满足人们的需要。尽管这些年来图像的超分辨率重建技术取得了较大的进展,但重建的图像质量依然不够好,图像中会带进去伪影,图像的涂抹感严重,细节失真,视觉效果不够清晰。为了解决这些问题,本文将对抗神经网络引入图像的超分辨率重建任务里面来,提出了新的图像超分辨率重建模型等,以下是本文的主要工作内容。(1)本文首先详细分析了几种经典的图像超分辨率重建算法,并予以实现,做了对比工作。同时介绍了对抗神经网络的模型结构以及模型原理,详细阐述了生成网络和对抗网络的原理以及网络结构。在阐述对抗神经网络的基础上,本文对生成对抗网络的原理进行了理论推导,分析了原始GAN网络中价值函数的缺陷,紧接着推导了 WGAN中的价值函数相对原始GAN的价值函数的提升。(2)文中探索了基于对抗神经网络的频域超分辨率重建工作,在数据集上,本文首先使用2K分辨率的原始数据集图像切割制作了 6万左右张高低分辨率的图像以及对应的频域图像。将其用于训练频域超分辨率重建模型。虽然频域模型的实验效果不好,但是实验证明了每个点都包含严格图像信息的频域图像,与立足在像素点的空域生成模型不能很好的契合。(3)针对现阶段超分辨率重建图像视觉效果模糊的问题,以及图像视觉效果与图像锐化的关系,本文提出了 Dual-SRGAN模型。模型在生成网络中使用了残差密集模块以及跳层残差连接。由于大多数超分辨率重建模型主要在追求重建图像的形状相似,缺少对图像细节信息的控制。本文在Dual-SRGAN模型中,应用孪生对抗神经网络,一方面对图像进行常规的超分辨率重建的同时,另一个网络着重于对图像的细节进行控制,采用了类似反掩膜USM锐化的思想,在图像的输出端口融合普通图像和细节图像。为了测试Dual-SRGAN模型的图像重建性能,文中使用三个在超分辨率重建领域常用的数据集:Set5,Set14和BSD100对模型进行验证。在Set5数据集中,本文模型的PSNR/SSIM分别达到了 32.24/0.8960,高于ESPCN模型的30.76/0.8784,高于SRGAN模型的29.40/0.8472。在BSD100数据集中,本文模型的PSNR/SSIM 达到了 28.13/0.7827,高于 ESPCN 模型的 27.02/0.7442,高于 SRGAN模型的25.16/0.6688。模型的实验效果可以看出,重建图像的峰值信噪比和结构相似度有不错的提升。比较其余超分辨算法,本文模型超分辨率重建的图像细节更丰富,视觉对比度有较好的提升,视觉效果更好。