基于自适应特征融合的轻量型图像超分辨率重建算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:guomenling
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像超分辨率重建是一种从低分辨率图像中获取信息,生成对应高分辨率图像的技术。作为计算机视觉领域优化图像质量的一项重要的图像处理技术,图像超分辨率重建在医疗图像、遥感影像和视频监控等场景都具有重要的应用意义。近年来,随着深度卷积神经网络的兴起,基于深度学习的图像超分辨率重建算法逐渐受到更多人的关注。相比传统超分辨率技术,深度学习超分辨率重建算法不仅训练方法简单,而且模型性能提升显著。然而,逐渐加深的卷积神经网络往往会出现浅层高频细节丢失的问题,并且需要耗费更多的计算成本。对此,本文进一步学习网络多层级的特征信息,基于自适应特征融合对轻量型图像超分辨率重建算法进行研究,主要工作如下:(1)针对图像超分辨率重建算法难以充分捕获图像高频细节信息的问题,本文提出一种全局注意力门控残差记忆网络,融合网络多层级、多尺度的特征信息。首先,在网络非线性映射阶段设计递归的残差记忆模块,不但可以降低参数量,而且可以融合多层级特征强化网络浅层高频信息。然后,在残差记忆模块中级联多个多尺度残差单元和全局注意力门控机制,融合网络不同尺度的特征信息,强化网络特征学习能力。最后,在网络末端,通过多尺度上采样模块充分利用重建阶段各个尺度的特征以实现图像的超分辨率重建。该算法经过多项标准测试数据集评估,在指标PSNR和SSIM上相比其他先进的算法均获得更加优越的性能。特别在测试数据集Manga109上PSNR结果达到39.19d B,相比超分辨率算法AWSRN提高了0.32d B。(2)针对图像超分辨率重建算法普遍存在较大参数量和计算量的问题,本文在前一项工作基础上进行优化,提出一种基于深度注意力的轻量型特征自适应网络。首先,设计一种轻量型自适应残差单元,通过学习特征图不同维度的注意力程度,获取更加丰富的特征信息。然后,设计通道分组增强模块将特征图按通道分组学习,增强子特征图自主学习能力,使网络更加鲁棒。与此同时,利用全局上下文权重学习模块自适应学习特征图空间和通道信息,调整像素点之间的关系。最后,该算法使用新的学习率衰减方式,并探索出一种新的超分辨率训练优化策略,实现模型性能的显著提升。实验表明,该算法不仅设计轻量,而且实现的超分辨率重建效果优越。相比前一项工作参数量减少149K、计算量减少278.4G,同时在多数标准测试集中评测效果与前一项算法相当。
其他文献
随着数据采集设备智能化及自动化的不断发展,数据采集更加方便,数据采集的内容更具多样性,数据维度不断增加,采集频次也在不断增强。当前,气象数据的采集多呈现为以分钟记录。气象部门在气象监测设备的更新与改造方面每年投入大量的资金,其目的并不只是为了记录数据,而是通过收集数据期望能够从中挖掘出某些气象规律,更好地服务于经济社会之需。近年来,随着深度神经网络技术地发展,研究人员在利用时间序列进行预报方面做了
近年来,随着公共安全需求的增加,视频监控技术得到了广泛的应用,产生了海量的视频监控数据,然而从如此大规模的视频数据中搜索犯罪嫌疑人十分困难,因此能够从视频监控中自动搜索寻找行人的算法具有重要的研究价值和意义。基于文本的行人重识别作为解决该问题的有效方法,在视频监控、电话报警、嫌疑人查找等领域具有非常大的应用价值。基于文本的行人重识别需要克服模态异质性,即文本和图像信息之间巨大的差异性。随着卷积神经
近年来,雷电灾害在全世界范围内造成了大量的经济损失和人员伤亡,对人类的各项活动都带来了巨大的威胁。如何有效减少雷电灾害的发生成为研究学者所关心的目标。雷电灾害风险评估和雷电预测研究是全社会提高雷电防御能力的两个重要途径。本文分析了目前雷电灾害风险评估的研究状况以及存在的不足,引入神经网络算法进行改进;对于雷电活动的预测,本文运用ConvLstm网络搭建了预测框架,并提出了一种解决数据稀疏问题的方案
跨社交网络的用户身份匹配的目的是检测来自不同社交网络的用户是否属于同一个人。这些社交网站中的信息在其它领域中通常具有重要意义,如信息扩散、链接预测、跨域推荐、隐私保护和身份验证等。当前,跨社交网络的用户身份匹配算法主要利用个人属性特征、网络结构特征和行为特征进行研究。虽然现有研究取得了一定进展,但是仍然存在一些不足,比如现有研究未能充分挖掘用户间的亲密程度、缺少大量准确可靠的标签用户,未能有效将全
视频压缩感知系统基于压缩感知理论,仅在一次曝光过程中将多帧画面投影至二维压缩测量,进而实现高速成像。为了从二维压缩测量信号中恢复出原始视频信号,经典的重建算法基于视频的稀疏性先验进行迭代优化求解,但存在重建质量低,且耗时过长等问题。深度学习因优异的学习能力而受到广泛关注,也被应用于视频压缩感知重构问题,但现有基于深度方法的重构算法缺乏对于时空特征的有效表达,重建质量仍需提升。为此,本学位论文着重研
近年来,计算机视觉的发展使得图像处理技术被运用于航空、气象、医疗、安防等各个领域。但是图像在采集、传输和存储等过程中容易受到各种噪声干扰,导致图像质量下降,从而直接影响图像后续处理。因此,图像去噪是图像处理中必不可少的环节。目前研究者们针对高斯噪声进行研究,并提出了许多高性能的去噪算法。而混合噪声的噪声分布较复杂。对诸如混合高斯、脉冲噪声的研究还不够深入,相关算法的去噪性能有待提升。目前对于混合噪
时序动作检测任务是当前计算机视觉领域的研究热点之一。该任务可以定义为:以自然采集的视频片段作为输入,自动输出视频中包含动作片段的开始时间点和结束时间点(时序动作提名生成),以及该动作的具体类别(动作识别)。本文分别对时序动作提名生成任务和时序动作检测任务进行了探索和研究。关于时序动作提名生成任务,针对现有方法对动作开始和结束边界点难以准确定位的问题,本文提出了一种基于精确边界预测(Boundary
作为自动视频监控中最重要的技术之一,行人重识别(Re-Identification,Re-ID)技术受到了广泛的关注。当前,大多数行人重识别方法假设所有来自不同摄像机的行人图像具有相同的分辨率。然而,在许多真实场景中,由于摄像机与行人之间距离的变化以及摄像机的部署设置,行人图像的分辨率往往不同。由于信息数量的差异,直接匹配不同分辨率的行人图像会对识别性能产生不利影响。为了解决这个问题,一个潜在的解
多无人船系统在执行传统连续分布式编队控制算法过程中,无人船之间需要进行频繁通信且无人船控制器会持续更新。为减少算法执行过程中对通信带宽以及控制器性能的要求,本文通过引入事件触发机制,设计多无人船分布式事件触发编队控制算法。在保证多无人船系统编队控制基础之上,有效降低算法执行过程中无人船之间通信量与控制器更新频率。本文主要研究内容如下:首先,本文提出一种基于事件触发的多无人船分布式编队控制算法。通过
混合式教学结合在线教学和线下教学的优势,在一定程度上打破时空的限制,体现了“以学生为中心”教学范式的转变。伴随着混合式教学规模的扩大,如何通过学习者学习行为数据来分析和挖掘出有用的信息,帮助学习者提高学习效率,改善教师教学水平和质量,成为迫切需要解决的问题。针对上述问题,本文对学生在混合式教学过程中产生的学习行为数据进行分析和挖掘,构建了学习行为数据分析-特征选择-Stacking融合的学业预测模