基于注意力学习的单幅图像超分辨率方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:SongSan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的快速发展,图像作为信息传递的重要载体,已深入到人们的日常生活中并发挥着重要作用。然而,由于受到成像设备和外部环境等不利因素的限制,所获取的图像往往会存在不同程度的模糊与噪声等退化现象,严重影响了人们的视觉体验与后续的高层模式识别应用。虽然通过改进成像系统中的物理设备可以提升图像分辨率,但是该方法经常会受到成本与应用场景的限制。图像超分辨率重建技术作为一种以软件手段增强图像分辨率的方法,它能够在不更新成像设备的前提下,以较低的成本提高图像的清晰度,现已被广泛地应用于遥感观测、医学成像、生活娱乐以及视频监控等方面,引起了国内外学者的广泛关注。本文围绕单幅图像超分辨率重建问题展开研究,通过采用基于学习的方法,从大量的外部数据中学习出低分辨率图像到高分辨率图像之间的映射关系。与此同时,在超分辨率重建的建模过程中还引入了新的研究内容,如高分辨率图像信息、注意力机制等。论文的主要研究成果如下:(1)提出了一个基于高分辨率信息指导锚定邻域回归的单幅图像超分辨率模型,可有效减轻不相似高分辨率图像块对超分辨率重建性能的影响。在经典的基于调整锚定邻域回归的单幅图像超分辨率算法中,有一个重要的假设条件:低分辨率图像块相似则对应的高分辨率图像块也相似。因此在邻域回归中,高分辨率图像块与低分辨率图像块可以共享相同的表示系数。但是由于超分辨率是一个不适定问题,即一个低分辨率图像可以由不同的高分辨率图像退化而来,所以可能会导致不相似的高分辨率图像块在邻域回归中具有较大的表示系数,最终造成超分辨率重建性能的下降。为了缓解上述问题,本文提出了一个基于高分辨率信息指导的锚定邻域回归模型,该模型通过将高分辨率相似性调整权重引入到高分辨率图像块的表示系数中,以此来降低非相似高分辨率图像块的影响。实验结果证明了该方法的有效性,能够在不增加时间复杂度的基础上重建出更好的超分辨率图像。(2)提出了一个基于多粒度注意力网络的单幅图像超分辨率模型,充分挖掘了不同尺度与稠密卷积层之间的特征信息并在特征学习中引入了多粒度注意力机制。近年来,基于深度卷积神经网络的图像超分辨率方法引起了广泛的关注,显著地提升了图像重建性能。然而,该类方法的网络模型通常仅通过简单地堆积卷积层方式来追求网络精度的提升,并没有充分考虑到图像本身的一些性质,如:多尺度特征等,严重限制了模型潜能的挖掘。为此,本文提出了一个基于Inception结构的多尺度网络模型,有效地提取了图像的多尺度特征信息。同时,还将稠密跳跃连接机制引入到多尺度模型中,进一步提高了卷积层之间信息的传递效率。此外,为了增强网络的鉴别性表示能力,本文构建了一种多粒度注意力模型,该模型可以在不同模块大小下依据周围邻域的信息对每个位置的特征进行自适应的调节,且对于之前方法中所提的通道注意力与空间注意力可以看作是本文注意力机制的两种特例。实验结果表明该方法在主、客观评价方面均优于一些现有的超分辨率方法,能够重建出具有锐利边缘与更多纹理细节的高分辨率图像。(3)提出了一个基于金字塔稠密注意力网络的图像超分辨率算法,以有限的模型参数改善了超分辨模型的特征学习效率。对于传统的稠密连接网络,每个稠密卷积层的输入特征数随着网络深度的增加而逐渐提高,但相应的输出特征数却是固定的,这将不利于网络模型性能的提升。为此,本文提出了一种金字塔式稠密连接结构,该结构具有可变化的特征增长率,即随着网络模型深度的加深,卷积层的输出特征数也随之提高。同时,为了控制模型的参数量,本文采用了一种具有自适应基数的分组卷积方法,不同于传统的分组卷积,在自适应分组卷积过程中每个网络层的卷积分组数随着网络深度的加深而逐渐增多,有效降低了模型参数的数量。此外,为了进一步增强模型的表示能力,本文还构建了一种联合注意力机制,改进了之前所提注意力模型中空间注意力与通道注意力之间缺乏有效交互的缺点。实验结果表明,所提算法优于其他一些现有的图像超分辨率方法。(4)提出了一个基于反馈金字塔注意力网络的单幅图像超分辨率模型,通过引入反馈调节与金字塔非局部结构,增强了深度网络模型的表示能力。得益于深度学习强大的学习能力,图像超分辨率得到了快速发展。但是,目前基于深度神经网络的超分辨率重建方法通常只采用前向(Feedforward)网络传播方式,并没有考虑到深度特征信息对于浅层特征的反馈调节作用,即人类认知理论中的反馈调节机制(Feedback Mechanism),限制了网络特征的表达能力。为此,本文提出了一种基于反馈连接结构的单幅图像超分辨率模型,该模型通过将网络第一阶段每个卷积层的输出当作第二阶段中对应卷积层的输入,从而实现对低层卷积信息反馈调节。此外,为了克服传统卷积的局部连接特性,引入了金字塔非局部网络结构来获取不同特征尺度下的非局部上下文信息,进一步增强网络的鉴别性表示能力。实验结果表明,与一些现有的超分辨率算法相比,该模型能够重建出较好的超分辨率图像,且对于不同的图像退化模型具有一定的鲁棒性。
其他文献
在我国人口老龄化加剧、残障人士众多的背景下,医疗康复领域迫切需要新的技术方案来缓解社会压力。穿戴式下肢外骨骼机器人作为一种机电一体化智能设备,融合了生物力学、人体工程学、机构学、电子信息、传感和控制等多学科技术,在康复治疗辅助、老年或残障人士行走辅助等方面具有广阔的应用前景,目前已成为国内外机器人领域的研究热点之一。作为一种穿戴式设备,下肢外骨骼机器人与人体存在着实时的人机物理交互,人与外骨骼的交
学位
射击精度是衡量多管火箭武器系统战术技术性能的重要指标之一。传统的多管火箭射击精度试验方法基于经典统计理论,试验用弹量多、试验周期长、成本高。本文依托国防973重大科研项目,以多管火箭为研究对象,运用多体系统传递矩阵法最新研究成果,从弹、炮、环境等大系统角度出发,开展多管火箭射击精度动力学理论、仿真和试验研究,为提高多管火箭射击精度设计与试验水平提供理论基础和有效的技术手段。论文取得的主要成果如下:
学位
聚焦离子束在(Focused Ion Beam,FIB)技术近几十年在微纳加工领域发挥了巨大的作用,极大地支持了原位透射实验(in-situ Transmission Electron Microscopy,in-situ TEM),原位扫描电子显微镜实验(in-situ Scan Electron Microscopy,in-situ SEM),三维原子探针(Atom Probe Tomogra
学位
基于能量枢纽的电热网优化运行中,忽略能量枢纽设备能量效率随其输入或输出功率变化而变化的特性会导致优化运行结果与实际结果之间存在明显偏差。针对以上问题,首先,采用分段线性化方法逼近设备的可变能量效率,建立标准化矩阵模型对考虑设备可变能量效率的能量枢纽进行描述。其次,以系统购能总成本最小为目标,通过考虑设备可变能量效率的能量枢纽将区域供热网和配电网耦合,建立了电热网优化运行线性模型。最后,通过算例验证
期刊
纳米流体是指受限于纳米空间中的流体,常见的纳米限域包括了纳米管、纳米孔、纳米通道以及其它更加复杂的纳米空间结构。根据受限空间的尺度又将其中的纳米流体分为“经典纳米流体”与“扩展纳米流体”。受限于纳米空间中的流体往往具有独特的纳米尺度效应,包括表面效应、小尺寸效应、量子效应等等。这些独特的效应使得纳米限域与纳米流体在离子分离、生物医学、纳米检测以及能源利用等领域都有着广泛的应用。特别是当水分子限制在
学位
高功率连续波光纤激光器具有结构简单、环境适应性强等特点,目前已经被广泛应用于工业加工及国防军事等领域。然而,随着输出功率的不断提升,连续波光纤激光器中依然存在输出功率瞬态响应过程缓慢且有巨脉冲、连续波分裂出大量高峰值功率脉冲和输出激光模式动态变化等时域不稳定问题。以上问题的出现会导致激光器输出功率波动,输出光谱及光束质量劣化,严重影响激光器应用,甚至威胁系统安全。为此,本文开展高功率连续波光纤激光
学位
新需求的提出和生产工具的改进涵盖了人类社会的基本活动。新需求可视为问题的提出,生产工具的改进可视为方法的设计。科学研究亦如此,其是一个从提出问题到设计方法、使用方法以解决问题的实践活动。问题和方法是科学研究中的重要组成部分。科研工作者的研究成果通常以学术论文、专著、专利或报告等学术文献形式作为交流与传播的载体。浩如烟海的学术文献是科研工作者的隐性知识的显性表达,可通过抽取学术文献中的“问题-方法”
学位
芮方法,即多体系统传递矩阵法,是近三十年来提出并逐步完善的一种多体系统动力学新方法。因其无需系统总体动力学方程、系统矩阵阶次低、计算速度快、程式化程度高等优点,而被全球广泛运用于52个工程领域150多类产品的动力学仿真与设计,并仍处于高速发展中。作为我国国防基础科研科学挑战专题重大项目研究成果的重要组成部分,本文以超精密飞切机床系统为背景,应用并扩展芮方法,从理论、计算、试验三个方面系统研究超精密
学位
随着器件尺寸不断微型化,传统硅基半导体电子技术已经接近物理极限。当其尺寸减小到纳米尺度时,将会出现明显的量子效应,导致器件结构和功能性设计发生根本性的变化。有机分子具有尺寸小、稳定性高、柔性可弯折以及性能高度可调等优势,有望突破传统硅基半导体的瓶颈。大量实验结果表明,金属与有机半导体接触界面的电荷注入势垒(肖特基势垒)是影响界面整流性能的关键因素,对器件的电学、光学等性能有重要作用。然而,由于界面
学位
基于状态空间法,建立了一种逆流式中空纤维膜加湿器状态空间模型,对所建立模型进行了实验验证,并进行了模拟仿真。实验数据与仿真结果表明:出口空气含湿量最大相对误差为2.1%,出口空气温度最大相对误差为2.4%,模型可以很好的预测逆流式中空纤维膜加湿器的瞬态传热传质特性。分析了逆流式中空纤维膜进口参数(空气进口温度、空气流量、水温度、水流量)与出口参数(空气出口温度、空气出口含湿量、出口水温度)之间的瞬
期刊