论文部分内容阅读
图像的超分辨率重建技术尽管使用更快,更深的卷积神经网络已在单图像超分辨率的准确性和速度方面取得了突破,但仍然存在许多问题仍未解决:一是当在较大的放大比例下进行超分辨率处理时,如何细化纹理问题。二是现有卷积神经网络图像超分辨率算法容易出现过拟合、损失函数的收敛性不足的问题。在此背景下,本文结合超分辨率算法和生成式对抗网络理论,设计一种增强型空间特征变换(ESFT)层和一种基于生成式对抗网络的超分辨率算法SRCICGAN,并通过PSNR,SSIM等指标与其他算法进行对比。本文具体工作如下:(1)针对图像先验信息的有效表达问题,提出一种增强空间特征变换(ESFT)的方法。空间特征变换层以ASSP语义分割概率图为条件,在此基础上,空间特征变换层会生成一对调制参数,以在网络上对特征图进行空间变换。将该方法加入SRGAN中,并改变其网络结构,最后进行试验。实验结果与其他方法对比后证明该方法有针对性的重建了图像的纹理,恢复细粒度。能帮助获得重建更自然逼真纹理的高质量高清图像。(2)本文采用无监督学习的训练方式,使用提出的ESFT方法,结合CycleGAN和SRGAN,对网络结构进行改进并对损失函数进行优化后提出SRCICGAN算法,用于恢复四倍下采样的图像。使用ESFT帮助了恢复图像细节纹理;使用残差密集块作为基本结构单元,有效避免了过拟合问题;改进损失函数使得损失函数的收敛性得到提升。实验证明SRCICGAN在PSNR和SSIM指标上比SRCNN、EDSR、RCAN、Enhance Net、SRGAN以及ESFT-GAN都要优秀,在Flickr2K数据集中,SRCICGAN算法比其他算法中PSNR值和SSIM值最高的RCAN算法在数值上分别高出1.92%和5.49%,并且在细节纹理方面也可以获得更好的视觉效果。验证了SRCICGAN算法能够更好的完成图像超分辨率任务。最后通过实验证明了SRCICGAN算法无论从人眼舒适度主观视觉评价方面,还是从PSNR和SSIM指标等客观评价方面均具有更好的超分辨率重建效果。