论文部分内容阅读
图像超分辨率重建技术作为信号处理领域的一个重要分支,受到众多国内外研究人员的关注,被广泛运用于医学图像处理、卫星遥感影像处理、高清数字电视、视频监控等高新技术领域,具有很大的工业应用与学术研究价值。近年来,随着卷积神经网络在图像识别领域取得的巨大进展,深度学习技术被逐渐地引入图像超分辨率领域,然而目前多数利用卷积神经网络进行图像超分辨率重建的工作都具有以下缺陷:一方面重建图像往往过于平滑,缺少纹理信息,高频成分不充分;另一方面,随着网络深度的增加,浅层信息在特征映射中没有得到充分的利用,导致简单地堆叠卷积层不能显著地得到对应的性能增长,极深网络训练过程难以进行。针对以上问题,本文提出了一种新的残差反小波变换上采样方法与一个同时监督空域与频域的损失函数,结合注意力机制与二级折叠结构使得本文最终提出的小波通道与空间注意力网络在几个常用的测试集上达到了先进水平。具体得,本文有如下贡献:(1)本文构建了一个健壮的图像超分辨率基线模型,为后续的研究打下了坚实的基础。对于基线模型的研究主要分为三项子工作:本文提出了两种新的上采样方式,其中残差反小波变换方式能够对不同的高频与低频子带分别学习,容易被丢失的高频成分由于对高频子带的学习更容易被捕获;本文提出了一种新的同时监督空域与频域的损失函数,使得训练过程中对不同频率的监督更加均衡,弥补了以往只对空域监督的损失函数对高频信息监督不足的弱点;验证了批归一化层不适用于图像超分辨率任务,并通过将参数归一化方法引入堆叠的基本块提高了学习率上限,大大加快了网络的训练速度。通过以上新提出的技术,本文得到的基线模型超过了2018年前的所有代表性模型;(2)本文研究了将注意力机制融入图像超分辨率任务的方法,通过对不同的特征分配以不同的注意力进行区分,使得难学习的特征学习得更充分。具体的,本文改进的通道注意力层大大简化了信息流的传递,使得高频通道更容易被传递,本文提出的空间注意力宽激活层能使得不同通道得到更好的频率聚焦,即低频滤波器中高频特征能被该激活层杀死(高频滤波器同理),使得高频滤波器与低频滤波器都得到了更好的学习。两种注意力机制在融入基本块中后,使得基线模型的性能-参数平衡得到了较大的改进,在现有的轻量级图像超分辨率网络中达到了先进水平;(3)本文提出的层次顺序融合模块,使得不同深度的特征都能被后期捕获,同时更浅的特征经过更多的通道压缩层,更具有价值的深层特征得到了更好的保留,在实现了通过二级折叠结构加大网络深度的同时,以不同层次的方式融合浅层特征和深层特征,使隐藏在整个网络管道中的信息能够得到更好的、更深入的挖掘。在有效地堆叠大量基本块后,本文提出的最终模型在多个图像超分辨率常用测试集上达到了先进水平。