论文部分内容阅读
人类获取信息的主要来源之一是图像,图像在人们日常生活中充当着视觉信息载体的重要角色。信息获取的准确度和信息获取量的多少通常取决于图像的质量,所以在数字图像处理领域研究如何提升图像分辨率十分具有意义。作为计算机视觉领域的一个典型问题,图像超分辨率重建研究的内容是如何从一幅低分辨率图像得到一幅高分辨率图像。图像超分辨率重建是图像处理领域的研究热点,目前已经在视频监控、图像压缩、刑侦分析等领域有着的广泛的应用前景。近年来,深度学习在图像处理领域开始占据主导地位,基于深度学习的图像超分辨率重建技术已逐渐成为主流。本文在前人研究工作的基础上,总结和介绍了现有的图像超分辨率重建方法,分析了现有的图像超分辨率重建方法存在的不足,提出了一种双自注意力层次级联对抗网络的图像超分辨率重建方法,最后在公共标准数据库上进行实验验证本文方法的有效性。首先,本文对图像超分辨率重建的研究现状和发展趋势进行了总结,重点介绍了三种相关的主流方法,分别是传统的图像超分辨率重建方法、基于卷积神经网络的图像超分辨率重建方法和基于生成式对抗网络的图像超分辨率重建方法,并指出了这三种方法的优缺点。然后,针对现有图像超分辨率重建方法存在的问题,本文做了如下改进。(1)现有的图像超分辨率重建方法在对图像进行放大时,使用简单的插值方法,或在网络末端进行放大,通常使用子像素卷积从或转置卷积层。当图像放大倍数较大时,这类方法计算成本高,内存占用大,重构出的图像比较模糊,容易出现伪影。本文设计了一种针对图像超分辨率重建的层次级联生成对抗网络。生成网络采用一种端到端逐层放大的思想,判别网络采用一种多尺度判别器。全局判别器关注图像全局结构,用于指引生成器生成全局结构一致的图像。局部判别器关注图像局部细节,用于指引生成器生成细节丰富的图像。(2)传统的图像超分辨率重建方法在生成高分辨图像时,并未考虑到特征之间的全局依赖关系,这些方法虽然取得了不错的重建效果,但是重建出的图像部分细节产生扭曲,与真实图像不符合,视觉上却少真实感。本文将自注意力机制用于图像超分辨率重建,我们使用两种自注意力模块分别在特征的空间维度和通道维度抓取特征之间的全局依赖关系,增强特征的表达能力。位置自注意力模块的主要作用是对距离较远的相似特征进行相互关联,然后对所有位置的特征进行加权求和,这样可以对每个位置的特征进行选择性地聚集。通道自注意力模块的主要作用是对不同通道图中的相似特征进行相互关联,然后对所有通道的特征进行加权求和,这样可以对所有通道图的特征进行选择性地强调。为了充分利用两种特征,我们最后将两个自注意力模块的输出相加求和,以便获得更好的重建结果。最后,在GPU及TensorFlow环境下采用python编程语言,实现本文提出的方法。使用5种标准数据库将本文方法与4种传统的图像超分辨率重建方法和13种基于深度学习的图像超分辨率重建方法进行对比,设计相应的对比实验,进一步分析和验证本文方法的有效性。实验结果表明,相比于几种主流的深度学习方法,本文提出的方法重建出的高分辨率图像细节更加真实、丰富。