论文部分内容阅读
单图像超分辨率(SISR)工作主要目的在于使用低分辨率图像(LR)通过端到端训练产生边缘更清晰的高分辨率图像(HR)。从低分辨率图像重建出清晰的高分辨率图像是一项艰巨的任务。特别是当比例因子变大时,局部特征的恢复变得更加困难。信息的过度冗余将导致无法恢复足够的高频细节。现有的基准技术还存在一定局限性,包括利用特征信息不足等。卷积神经网络(CNN)已经针对部分图像超分辨率(SR)问题实现了显着的性能改进。本文拟将卷积神经网络相关结构与概念拓展到单图像超分辨率工作中以改善上述问题,主要创新思路如下:1.提出了一种全新设计的卷积神经网络结构——使用密集连接和1×1网络的“精确图像超分辨率”来充分利用图像特征。图像区域的上下文信息通过密集连接和多次级联小的过滤器被有效且准确地利用。在图像重建部分新引入了1×1 CNN并行化结构以减少前几层的数据尺寸,从而在减轻上下文信息传递冗余的同时有效减轻了计算负担。2.提出了一种用于多尺度图像纹理恢复的,基于深连接与多1×1卷积结合的单图像超分辨技术更加侧重于提高卷积神经网络的表达能力以显着提高重建的高分辨率图像细节的准确性,产生更高的峰值信噪比(PSNR)并最大改善图像的纹理细节。深度跳跃连接(DSC)充分利用具有丰富特征的低频信息,将低频信息高效的传递到下一层并在卷积层间交互产生有效的低频和高频信息。引入多1×1卷积层(MOL)减小图像尺寸,减少了由层数加深引起的运算负担。3.提出了使用密集融合块和并行1×1卷积网络(DPSR)的图像超分辨率。创造了一种新型的密集块以提高特征的利用率。密集融合块(DFB)通过密集连接提取丰富的局部特征。连接在密集块中的局部特征被用来从先前与当前卷积层中学习有效特征并增强网络鲁棒性。特征提取后,将分层特征以整体方式合并。并行1×1卷积网络(PDN)的引入减小了特征的尺寸,提高了训练速度和输出图像性能。4.将密集连接和激励模块结合对图像进行低分辨率到高分辨率的端对端处理。使用密集连接组成的密集块和多个级联小滤波器组成的网络结构使图像区域的上下文信息得到有效准确地利用。激励模块将有价值的全局信息选择性放大并抑制无用的特征。图像重建部分中的1×1卷积层结构减小了前一层的尺寸,加速计算的同时减少信息的丢失。总的来说,通过大量的数据实验以及对现有模型间的比较,表明本文所提出的单图像超分辨率模型对于图像从低分辨率到高分辨率的端到端处理准确率较高,产生了更高的峰值信噪比且边缘保持良好。