论文部分内容阅读
图像超分辨率重建（Super Resolution，SR）是通过从低分辨率图像（Low Resolution，LR）提取有用信息的特征，然后重建出高分辨率图像（High Resolution，HR）的过程，是一个欠定的问题。其一直以来都是计算机视觉（Computer Vision，CV）领域的一个难点和热点问题。基于卷积神经网络（Convolution Neural Network，CNN）的图像超分辨率重建（Super-resolution Reconstruction，SR）算法在2015年的时候首次被提出，之后呈现出蓬勃发展的趋势，在取得巨大成功的同时，也引发了相应的问题。在深入研究了基于卷积神经网络的图像超分辨率重建算法后，发现其存在一些问题，如深度网络难以训练，图像的上采样方式过于粗糙等，为了解决这些问题，本文开展了相应的研究工作。本文的主要工作如下：
①提出基于混合空洞卷积与拉普拉斯金字塔的图像SR算法(Image Super Resolution Based on Hybrid Dilated Convolution and LapLacian Pyramid,HDLapSRN)。HDLapSRN通过混合空洞卷积模块来更有效的提升网络的感受野，来获取更多的上下文信息，从而能更有效的提取到图像的高频特征；通过基于拉普拉斯金字塔的逐级上采样结构来逐步重建出高分辨率图像，能极大减少基于前端采样方法的重建时间，也能缓解基于后端采样在重建倍数过大时网络重建精度极大下降的情况；最后通过结构损失来更好的结合图像的全局信息和局部信息，更好的指导网络学习方向，从而重建出细节丰富，纹理清晰的高分辨率图像。
②提出一种基于残差学习与多级特征融合的图像超分辨率重建算法（Multi-Level Feature Fusion Image Super-Resolution Based on Residual Learning,MFRSR）。MFRSR采用基于组卷积的高效残差模块，在解决深度卷积神经网络难以训练，退化和梯度消失等问题时，也减小了深度模型的网络容量和计算量，从而能提升重建的速度；为了进一步减少模型的参数，本文探索出了一种有效的参数共享机制，进一步减少了模型的容量和其存储消耗；为了使网络各层提取到的特征能更有效的在网络中传播和组合，本文提出一种基于全局特征融合和局部特征融合的多级特征融合机制，这样各层提出到的特征能选择最适合重建任务的通路，从而网络提升网络对各级特征的提取能力。最后通过实验验证了，本文提出的方法，能更好提取到图像中高频特征时又不过度忽视低频特征，从而重建出的图像纹理清晰，细节丰富而且也更接近于真实的高分辨率图像。
①提出基于混合空洞卷积与拉普拉斯金字塔的图像SR算法(Image Super Resolution Based on Hybrid Dilated Convolution and LapLacian Pyramid,HDLapSRN)。HDLapSRN通过混合空洞卷积模块来更有效的提升网络的感受野，来获取更多的上下文信息，从而能更有效的提取到图像的高频特征；通过基于拉普拉斯金字塔的逐级上采样结构来逐步重建出高分辨率图像，能极大减少基于前端采样方法的重建时间，也能缓解基于后端采样在重建倍数过大时网络重建精度极大下降的情况；最后通过结构损失来更好的结合图像的全局信息和局部信息，更好的指导网络学习方向，从而重建出细节丰富，纹理清晰的高分辨率图像。
②提出一种基于残差学习与多级特征融合的图像超分辨率重建算法（Multi-Level Feature Fusion Image Super-Resolution Based on Residual Learning,MFRSR）。MFRSR采用基于组卷积的高效残差模块，在解决深度卷积神经网络难以训练，退化和梯度消失等问题时，也减小了深度模型的网络容量和计算量，从而能提升重建的速度；为了进一步减少模型的参数，本文探索出了一种有效的参数共享机制，进一步减少了模型的容量和其存储消耗；为了使网络各层提取到的特征能更有效的在网络中传播和组合，本文提出一种基于全局特征融合和局部特征融合的多级特征融合机制，这样各层提出到的特征能选择最适合重建任务的通路，从而网络提升网络对各级特征的提取能力。最后通过实验验证了，本文提出的方法，能更好提取到图像中高频特征时又不过度忽视低频特征，从而重建出的图像纹理清晰，细节丰富而且也更接近于真实的高分辨率图像。