基于深度学习的图像超分辨率重构技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:chj0821031
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,人们对图像与视频的质量要求不断提升,高分辨率图像可以提供更多更丰富的细节信息,不仅可以满足人们对视觉效果的追求,同样也是开展其他视觉研究任务的良好基础。图像的超分辨率重构技术(Image Super-Resolution)是为了满足对高分辨率图像的需求而提出的一种改善图像质量的有效方法,其本质是通过图像处理技术将低分辨率的图像重构成高分辨率的图像。因受到大气折射、系统噪声等影响而导致图像退化的降质现象是不可逆的,故图像的超分辨率重构是一个病态问题,找到其合适的可行解,即找到高、低分辨率图像之间的映射关系和互补信息,是超分辨率重构技术的难点。为了弥补高、低分辨率图像间信息损失,本文提出了结合卷积神经网络(CNN)与极限学习机(ELM)的超分辨率重构方法,首先通过深度学习卷积神经网络模型建立端对端的超分辨率重构网络,学习结构化的图像信息,进而采用像素级的特征提取,通过ELM学习图像的高频信息对图像进行高频分量的补充,从而重构出具有较好视觉效果的高分辨率图像。本文主要研究工作和创新点如下:  1、提出了一种基于深度学习的图像超分辨率重构优化方法:在现有的基于深度学习的超分辨率重构方法之上,本文进行了如下的优化,首先对CNN模型的训练数据进行基于结构特征的分类处理。采用ISODATA算法对经过Sobel滤波的训练图像块进行聚类,获得较复杂和较平滑的两类训练图像集;第二步,采用预训练与调优结合的方式训练网络模型。将较为复杂的训练图像集用于CNN的预训练,全部训练数据集用于调优;最后采用较小参数规模的网络以提升训练速度。实验结果表明本文优化后的方法在迭代次数仅为原始工作千分之一时便取得了与其相当的重构效果,训练效率得到了大幅度的提高。  2、提出了CNN与ELM结合的快速二次超分辨率重构方法。为了提升超分辨率重构结果的图像质量,在快速CNN超分辨率优化算法的基础上,本文对小于全局放大系数的高、低分辨率图像对进行像素级的特征提取,应用ELM模型学习低分辨率图像所缺失的高频分量,并将该分量与CNN重构后的结果进行加权叠加,实现对输入图像的二次重构,获得最终的高分辨率图像。实验结果表明,本文的快速二次重构方法在大部分测试集评估中均取得了优于传统方法的效果。  3、设计并实现了图像超分辨率重构原型应用原型系统。基于本文的超分辨率研究成果,开发了能够在短时间内对图像进行视觉效果提升图像的原型系统,可集成于远程沉浸式视频交互系统中,作为远程交互系统中高清实物图像传输功能。
其他文献
学位
LTE基带芯片对处理能力和功耗有着非常苛刻的要求。然而,集成电路产业技术门槛高、研发周期长、资金投入大等问题和LTE基带芯片的需求形成了鲜明的矛盾。基带芯片的研发难度越
提供资源共享、信息共享是计算机网络主要功能.实现计算机系统互联,让用户可靠 地、廉价地、透明地共享网上主机资源,是计算机网络面临的关键问题之一.网络文件系统(NFS)在此
学位
学位
学位
伴随着智能电视的发展,电视节目的数量剧增,节目类型广泛,覆盖内容越来越多。海量的节目使用户根据喜好有更丰富的选择,但同时也需要观众花费大量的时间和操作,从中搜索到自己喜欢
针对舆情应用,舆情话题挖掘需要解决三方面的问题:话题检测目标制导,突发话题早期预警,特定话题细粒度分析。微博产生后,一直在社会舆情事件发源、发酵等方面扮演着重要角色,成为
学位
空间co-location模式代表一组空间特征,它们的实例在空间中频繁的关联。空间co-location模式挖掘研究是空间数据挖掘的一个重要方向,目前有大量关于确定数据的co-location模式