论文部分内容阅读
超分辨率重建技术通过对一幅或多幅低分辨率图像进行图像复原处理以提升图像空间分辨率,在图像处理领域具有重要的科学意义和应用价值。本文针对深空探测获取高质量图像的需求,以探月工程和火星探测工程载荷图像传输处理项目为研究背景,在课题组完成的图像压缩系统的基础上,为了进一步提升图像质量,重点研究适用于遥感图像的超分辨率重建技术,在保持几何特征完整性的前提下,提升图像空间分辨率,便于后续遥感图像目标检测等处理。在已有超分辨率重建方法中,传统的基于插值或基于重建法无法充分利用先验知识,性能较差。随着将稀疏处理和深度学习方法引入超分辨率重建,其性能得到大幅提升,例如基于稀疏表示的图像超分辨率重建法中性能较好的SCSR算法,与传统方法相比,在2倍超分下,PSNR提高2dB左右。与此同时,基于深度学习法取得更好的重建效果,但相比之下,SCSR算法的复杂度更低,适合在轨实时处理。本文在SCSR算法的基础上,为了进一步提升图像重建质量,提出了一种结合多残差网络和多特征提取的图像超分辨率重建算法(Multi Residual and Multi Feature SCSR,MRMFSCSR)。该算法与SCSR算法相比,更有效的保持图像几何特征,并具有相近的计算复杂度。本文主要研究内容和创新点如下:1)为提高重建图像质量,解决SCSR算法采用梯度算子仅提取水平和垂直方向特征,获取边缘和纹理信息不足的缺陷,提出基于多特征提取的稀疏表示超分辨重建算法(Multi Feature SCSR,MFSCSR)。该算法针对图像块特点,采用NSCT变换提取非平坦块的轮廓特征,Gabor变换提取平坦块的纹理特征,利用稀疏模型分别重建,最后合成HR图像。相比SCSR算法,该算法能够更完整的恢复图像几何结构。2)为丰富重建图像的内部细节,改进VDSR深度网络,设计多残差网络结构(Multi Residual network,MR)。该网络中仅采用4层卷积,大大降低算法复杂度,引入特征融合,通过3个残差块将网络提取的不同层次的特征信息融合,丰富高频细节。3)MRMFSCSR算法将MFSCSR算法和MR网络融合在一个模型。该算法中,融合两个结构并不是粗暴的将各自结果相加,以MFSCSR算法重建的图像作为训练MR网络的输入,MR网络继续修正重建图像的高频细节的方式相互制约和优化。本算法通过将稀疏表示与残差网络的有效结合,性能有显著提升,在传统的2倍超分下,相比于SCSR和VDSR算法,PSNR值分别提升约2dB和0.6dB。