基于注意力机制神经网络的超分辨率重建算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ihwfihwf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像作为信息传递的承载者在人类的生产生活中扮演着不可或缺的角色,但其产生过程中常受到成像设备和成像条件的制约,分辨率无法满足人们的需求。这不仅会带来较差的主观视觉体验,还会造成客观的图像内容理解困难、图片分类不准确等问题。而基于学习的超分辨率重建技术能够提取一张或多张低分辨率图像的低维特征,通过非线性回归将特征映射至高维空间,最终利用高维图像特征重建出高分辨率图像,从而有效应对上述问题。本文对基于深度学习的超分辨率重建方法做了研究和分析,并结合注意力机制提出了三个超分辨率重建算法,主要研究工作概括如下:1)提出一种基于卷积注意力机制网络的图像超分辨率重建算法。针对现有的残差结构对网络各通道特征的区分度不高,导致网络非线性映射过程受限的问题,该算法首先利用卷积注意力机制提取网络层间信息,这种做法用跳连接将卷积前后特征相连,并赋给卷积和跳连接两个能随训练过程迭代的权重,通过调整权重大小反应出卷积前后特征的重要程度,以此自适应地重新校准网络特征,进而提升神经网络的回归能力。此外,该算法还通过密集块学习策略级联高低维图像特征,增加块间信息流通性,保证信息得到充分利用。实验证明基于卷积注意力机制网络的图像超分辨率重建算法在重建图像质量和时间上都要优于大多数主流算法。2)提出了一种基于非局部残差网络的图像超分辨率重建算法。该算法首先通过非局部注意力模块中的卷积和矩阵运算,让输入特征图的每个像素块都与其他像素块进行距离度量,以此衡量特征图自相似性,捕获特征图全局信息,使网络获得一个与低分辨图像内容相关的先验信息,辅助网络恢复出更清晰的图像边缘和纹理。网络还利用分层残差模块,先分级提取图像特征,再将提取到的层级特征融合,最后利用全局跳连接进行特征叠加。这种分级结构能在保证网络效果的同时,大幅度缩减重建高分辨率图片的速度。实验结果证明该算法的主客观效果都要优于大部分算法,尤其对纹理丰富的图像重建效果更加明显。3)提出一种针对低质量视频的超分辨率重建算法。该算法利用视频压缩原理提取视频关键帧,构建训练集,在保持视频内容多样性的同时最大限度减少冗余数据。在模型设计方面结合多尺度注意力机制和残差嵌套模块构建两阶段网络,首先让视频帧进行调色阶段预处理,此部分利用浅层多尺度通道注意力网络提取图像低维特征,并通过结构相似性损失,衡量图像的整体亮度、对比度和结构,对输入图像进行色彩修正和噪声消除,而后经过深层多尺度通道注意力网络提取修正后图像的高维特征,最终利用上采样层重构图像特征,完成超分辨率重建。在测试阶段提取所有低质量视频帧,经过模型处理后最终压制成高质量视频。实验证明该算法对不同类型的视频都能有较好的恢复,算法耗费资源少且效果出色。
其他文献
近年来互联网获得了前所未有的发展,全球网络流量的快速增长,对高容量网络业务的需求越来越大。通信网络的传输能力和性能需要不断提升以满足人们日益增长的业务需求。光网络作为各种信息业务的载体得到了越来越多的关注。突增的业务量和用户数量以及新兴的业务模式不断出现使得光网络承担的风险和应对的挑战也与日剧增。如何能根据实时的网络状态针对不同的业务进行高效的业务编排是一个亟需解决的问题。网络流量的爆炸式增长导致
面对全球创新的大背景,习近平总书记提出要坚持创新引领,设立科创板,支持我国科技创新中心的建设,李克强总理倡导“大众创业、万众创新”。在国家多重政策的大力推动下,2018年我国企业研发支出达到600.8亿元,增长34.4%,增幅领跑全球。在高速增长的趋势下,企业创新活动引起也相关政策制定部门的重视。2018年11月,中注协印发《高新技术企业认定专项指引》要求审计师对企业的研究开发费用等信息进行单独审
随着航天、网络化控制系统、通讯工程和语音处理等领域高速发展,带乘性噪声和有色噪声的线性随机系统在上述领域有着更为广泛的应用。由于所处环境的多变性或经济状况的限制,诸如相关噪声、各种过程干扰、随机不确定性、随机非线性等问题是不可避免的。本文综合考虑了控制系统的上述相关特点以及随机扰动干扰,并根据射影理论和信息融合估计理论中的三种最优融合算法,解决了带乘性噪声和相关加性噪声的Kalman估值器问题。主
随着红外成像技术在各个领域内的广泛应用,红外图像分析逐渐成为一个重要的研究课题,如何快速且准确地对红外图像进行分析是研究的重点。然而传统的红外图像分析方法并不能满足红外图像分析的要求,虽然近年来深度学习的迅速发展为解决红外图像分析问题提供了有力的工具,但是将深度学习方法应用到红外图像上主要面临俩方面的问题:一方面是深度学习需要大量的样本来训练模型,另一方面是红外图像存在整体质量较低、缺少图像细节信
如今的半导体产业已经属于世界性的产业,它的发展一直以来都受到了世界各国的广泛关注与重视。备件库存的采购与管理是半导体企业正常生产的一项重要保障措施和关键指标,也是当下供应链管理的一个热门话题。如果因为备件的库存不足,尤其一些根据生产需要进行特殊定制的半导体零部件,供应商往往不会备有库存,只能根据订单现生产,这样交货期往往多达几个月的时间,一旦缺少这样的零部件,那么给企业所带来的经济损失将会十分惨重
函数逼近问题在数字图像处理、通信工程中有着比较广泛的应用。本文研究了基于逼近的若干算法及其在数字图像处理中的应用,主要内容包括以下三点:(1)指数不等式逼近三角函数
当前,全球在新一轮的科技革命和产业变革的影响下,机器人产业蓬勃发展。社会涌现了许多的可以用于自主建图、定位、导航、避障的机器人技术。例如汽车的自动驾驶,无人机的导航和自主避障,还有扫地机器人的构建地图和路径规划等。无论是什么样形式的机器人,凡是只要是涉及以上技术的,都逃离不开同步定位和建图(SLAM)技术。凡是可以自主移动的机器人,都离不开以下四种关键性的技术:定位、跟踪、路径规划和控制。以上技术
2019年中央一号文件提出了将修订土地管理法、物权法等法律法规。在儋州市,辖区范围内土地面积相对较大、乡镇数量较多,加上征收委托制度不健全、人才紧缺、公共利益维护者缺位等未得到有效解决,依然会增加工作的难度、拉长了工作时间,也会激化地区群众的矛盾,影响社会经济健康发展。在这种情况下,如何将乡镇政府在集体土地征收中的角色发挥好,已经为我国当前社会深化改革突破的瓶颈之一,调和地方政府与被征收群体紧张关
脉冲功率系统在受控热核聚变、粒子束加速器、质子治疗及超高速通信技术(UWB)等领域都有着广泛的应用。脉冲形成线具有脉冲成型和脉冲传输的功能,是脉冲功率系统的重要组成部分。为了满足日益增长的开发小型化、紧凑化脉冲功率系统的需求,人们迫切需要减小脉冲形成线的体积和重量。利用介质陶瓷代替现有系统中的液态介质是有广阔前景的解决方案。然而,介质陶瓷相对较低的耐电强度成为阻碍其应用的关键因素。因此,如何进一步
随着智能制造的快速发展,机器视觉在生产制造过程中的作用愈发重要,目前主流的PLC开发平台也开始增加视觉检测功能。机器视觉在PLC开发平台被封装成算法模块,开发人员可以在算法模块的基础上二次开发,具有开发周期短和易维护等优势。基于视觉平台对机器视觉算法模块的运行资源展开预测研究,可以优化工业生产调度,如预测机器视觉的执行时间能帮助PLC设置任务执行周期,预测机器视觉最小变量类型组能降低其运行空间等。