论文部分内容阅读
随着信息技术的发展,人们对图像与视频的质量要求不断提升,高分辨率图像可以提供更多更丰富的细节信息,不仅可以满足人们对视觉效果的追求,同样也是开展其他视觉研究任务的良好基础。图像的超分辨率重构技术(Image Super-Resolution)是为了满足对高分辨率图像的需求而提出的一种改善图像质量的有效方法,其本质是通过图像处理技术将低分辨率的图像重构成高分辨率的图像。因受到大气折射、系统噪声等影响而导致图像退化的降质现象是不可逆的,故图像的超分辨率重构是一个病态问题,找到其合适的可行解,即找到高、低分辨率图像之间的映射关系和互补信息,是超分辨率重构技术的难点。为了弥补高、低分辨率图像间信息损失,本文提出了结合卷积神经网络(CNN)与极限学习机(ELM)的超分辨率重构方法,首先通过深度学习卷积神经网络模型建立端对端的超分辨率重构网络,学习结构化的图像信息,进而采用像素级的特征提取,通过ELM学习图像的高频信息对图像进行高频分量的补充,从而重构出具有较好视觉效果的高分辨率图像。本文主要研究工作和创新点如下: 1、提出了一种基于深度学习的图像超分辨率重构优化方法:在现有的基于深度学习的超分辨率重构方法之上,本文进行了如下的优化,首先对CNN模型的训练数据进行基于结构特征的分类处理。采用ISODATA算法对经过Sobel滤波的训练图像块进行聚类,获得较复杂和较平滑的两类训练图像集;第二步,采用预训练与调优结合的方式训练网络模型。将较为复杂的训练图像集用于CNN的预训练,全部训练数据集用于调优;最后采用较小参数规模的网络以提升训练速度。实验结果表明本文优化后的方法在迭代次数仅为原始工作千分之一时便取得了与其相当的重构效果,训练效率得到了大幅度的提高。 2、提出了CNN与ELM结合的快速二次超分辨率重构方法。为了提升超分辨率重构结果的图像质量,在快速CNN超分辨率优化算法的基础上,本文对小于全局放大系数的高、低分辨率图像对进行像素级的特征提取,应用ELM模型学习低分辨率图像所缺失的高频分量,并将该分量与CNN重构后的结果进行加权叠加,实现对输入图像的二次重构,获得最终的高分辨率图像。实验结果表明,本文的快速二次重构方法在大部分测试集评估中均取得了优于传统方法的效果。 3、设计并实现了图像超分辨率重构原型应用原型系统。基于本文的超分辨率研究成果,开发了能够在短时间内对图像进行视觉效果提升图像的原型系统,可集成于远程沉浸式视频交互系统中,作为远程交互系统中高清实物图像传输功能。