论文部分内容阅读
图像超分辨率重建是一项底层的计算机视觉任务,其目的在于根据退化而来的丢失了部分高频信息的低分辨率图像,重建出更加接近退化前高分辨率图像的超分辨率图像。由于高分辨率的图像往往包含更多细节,所以互联网媒体、遥感、医学诊断、军事侦察、空间探测等领域对于高分辨率的图像都有迫切的需求。但是在硬件层面上对成像系统进行改进以提高分辨率受到诸多因素的限制,使得在软件层面上通过算法对低分辨率图像进行超分辨率重建成为提高图像分辨率的重要手段,这也使得图像超分辨率重建技术具有很高的研究意义。近年来,基于深度学习的方法在图像超分辨率重建领域表现出了突出的性能,但这些算法大都凭借更深的深度以及更高的卷积核数量来实现更高的性能,导致当前的大部分方法存在参数量大、运算量高等问题。在实际应用场景如在轨计算中能够提供的算力以及存储空间往往有限,高参数量、高计算复杂度的深度学习模型往往难以部署。针对上述问题,本文旨在设计一种轻量化的、具有嵌入式部署潜力的基于深度学习的图像超分辨率重建算法。针对这一目的,本文首先提出了一种基于拉普拉斯图像金字塔的轻量化图像超分辨率卷积神经网络LRN（Lightweight Laplacian Pyramid Recursive and Residual Network）。该网络通过引入参数共享思想以及递归思想,将参数量压缩为其原型算法Lap SRN（Laplacian Pyramid Super-Resolution Network）参数量的3.98%。对LRN在基准图像数据集进行了2倍、4倍以及8倍的超分辨率重建测试实验。实验结果表明LRN以极低的参数量达到了与Lap SRN相当的超分辨率重建性能,证明了LRN的轻量化性以及有效性。进一步对LRN进行了火星遥感图像数据集超分辨率重建测试,在4倍以及8倍火星遥感影像超分辨率重建测试实验中LRN表现出了相较Lap SRN略高的客观评价指标值,二者视觉效果相似。实验结果证明了LRN对于不同领域特征的有效性,该算法具有一定的泛化能力。虽然LRN在降低参数量的同时维持了网络性能,但由于递归块的引入即网络深度的加深,LRN的计算复杂度仍有待降低,并且性能也有待提高。针对这一问题,本文又提出了基于Swin Transformer的轻量化图像超分辨率重建网络LSTN（Light-weight super-resolution network using Swin Transformer）。对LSTN进行了基准图像数据集的超分辨率重建实验并进行了轻量化程度可视化分析。LSTN以极低的28K（10~3）参数量提升为代价大幅度提高了算法性能并降低了计算量,2倍超分辨率任务中对于Urban100数据集的测试结果相较Lap SRN在PSNR以及SSIM指标下分别提升了1.08d B以及0.012。计算量方面,LSTN相较LRN对于720P图像的2倍超分辨率重建计算量Multi-Adds数量（乘加数）由374G（10~9）下降至82G,在与其他轻量化算法的计算复杂度比较中也显示了先进水平。实验结果证明LSTN是一个参数量低、计算复杂度低、具有嵌入式部署潜力的、具有较高性能的基于深度学习的图像超分辨率重建算法。由于LSTN具有性能提升的潜力,进一步复杂化LSTN并提出了STN模型,对STN进行了基准图像数据集测试。2倍超分辨率任务中对于Urban100数据集的测试结果相较Lap SRN在PSNR以及SSIM指标下分别提升了2.27d B以及0.0229。实验结果证明了STN的性能优越性以及LSTN网络的拓展性。