论文部分内容阅读
随着计算机软硬件技术的高速发展,图像、视频处理技术也得到了巨大的进步,而图像和视频的超分辨率问题一直是计算机视觉领域的一个热门研究问题,在视频监控,遥感技术,军事及医学等很多领域都有广泛的应用前景。以给定的低分辨率图像和视频为基础,采用算法来提高图像与视频的超分辨率,获得高清的图像和视频,一方面能节省大量的带宽,另一方面为特定的应用场景提供额外的体验和更好的细节。传统的超分辨算法一般归类到基于插值,重建和学习三个类别。尽管近年来传统方法在该领域取得了不少成果,基本能够快速达到超分辨率的目的,但是图像会出现模糊平滑,产生噪声等问题,从而会导致某些感兴趣细节的缺失。与传统方法相比,最近流行的基于深度学习的方法取得了很好的效果,能部分解决传统超分辨率所不能解决的问题,从而逐渐在超分辨率领域扩大了深度学习的研究和应用。在深度学习领域的超分辨问题上,现在所熟知的方法有超分辨卷积网络(SRCNN),基于高效亚像素卷积的实时单图像和视频超分辨率(ESPCN),时空网络和运动补偿的实时视频超分辨率(VESPCN),对抗神经网络对单幅图像的超分辨率(SRGAN)等算法。这些图像和视频超分辨率方法在一些数据集上取得了很好的成果,基于深度学习的超分辨率方法确实取得了远超传统方法的性能。本文的主要研究内容是采用GAN网络来进行超分辨率的研究。用生成网络生成图像,而用对抗网络来判断该图像是网络生成的还是原始的,并通过学习训练来使得网络生成的图像逐渐逼近于原始的高清图像。在采用GAN来进行超分辨研究的第一种算法SRGAN中,将其应用于图像超分辨领域,之后又有一些相关的研究。但目前采用GAN来做视频超分辨的研究很少,本文采用GAN来进行视频超分辨的研究。首先,本文利用GAN进行单幅图像的超分辨率研究。从GAN生成网络的内部结构和损失函数等方面,优化GAN网络的设计,获得了更好的超分辨结果。其次,提出了基于GAN的视频超分辨率算法。通过引入视频中的时序信息和运动信息,将其与GAN网络的结构相结合,设计了基于运动对齐的GAN视频超分辨结构,并在数据集上进行了大量的实验,结果表明,我们提出的算法在图像和视频上均取得了较以往算法更好的结果。