论文部分内容阅读
图像超分辨率的目标是依据低分辨率图像重建出其高分辨率的版本。目前,图像超分辨率在安防监控、医疗图像、遥感图像等多个领域起到了重要的作用,成为研究的热点。本文提出了三种不同的深度卷积神经网络来对单幅图像超分辨率问题进行研究。图像超分辨率是一个经典的病态问题,充分地利用低分辨率图像中的信息是生成高质量图像的关键。尺度信息和网络的层级信息则是图像的重要信息,为了更好地利用这些信息,论文的第二章创新性地提出了多尺度和多层级密连接融合的超分辨率网络(Multi-Scale Residual Hierarchical Dense Networks,MS-RHDN)。其中,多尺度提取结构结合残差连接和ASPP(Atrous Spatial Pyramid Pooling)结构提取出图像的多尺度特征。层级密连接结构用多层次的密连接提取全局和局部的层级特征并进行融合。另外,次密连接模块自适应地从密连接特征中学习出重要的信息。最后,为了稳定神经网络的训练以及提高网络的性能,网络中引入了多个不同的跳跃连接。基于逐像素损失的超分辨率网络会生成模糊平滑的边缘,丢失大量的高频细节信息。论文的第三章提出了两种新型的生成式对抗网络来减小生成图像分布与真实分布之间的距离。传统的生成式对抗网络中判别网络对生成网络的影响在于判别损失,这个损失是整体的、粗糙的。论文提出了一种细粒度注意力机制的超分辨率网络(Fine-grained Attention Generative Adversarial Networks for Image Super-Resolution,FASRGAN)。FASRGAN利用Unet结构的判别网络生成细粒度的判别监督,并将该监督应用到生成网络当中,让生成网络关注到重建困难的部分。此外,传统生成对抗网络中的生成网络和判别网络通常是两个独立的网络,论文采用了协同的机制将生成网络和判别网络的浅层特征提取部分协同,减少网络参数,提高模型提取特征的能力。在移动设备中应用超分辨率神经网络具有重要的意义。本文第四章提出了一种新型的轻量级超分辨率网络(Small Feature-Size Networks for Image Super-Resolution,SFSRN)。SFSRN用desubpixel的方式将图像的空间尺寸进行缩小,然后对小的特征图进行深层次特征提取,极大地减少了模型的计算量。实验结果证明本文方法比其他轻量级模型更加有效。此外,本文第四章进一步利用NTIRE 2019中的真实超分辨率训练数据对网络进行训练,并基于TensorFlow Lite架构,将轻量级神经网络部署到移动设备中。在五个标准的数据集上与当前流行方法的定量对比和视觉对比,证明了论文提出方法的有效性和优越性。实验中还将论文提出的方法和对比方法生成的超分辨率图像作为物体识别网络中的输入,计算模型的识别率。本文方法具有最低的top-1错误率和top-5错误率,进一步证明了论文提出的模型强大的重建能力和优秀的超分辨率效果。