面向复杂场景的图像视频超分辨率重建建技术研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:yolandaguyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超分辨率作为图像处理领域内的关键技术,因其能够提高图像视频的分辨率,丰富纹理细节,在诸多领域都有重要的理论意义和应用价值,一直以来受到了学术界和产业界的广泛关注。近年来,随着深度学习理论和各种卷积神经网络的快速发展,基于深度学习的图像视频超分辨率重建方法成为了研究热点。然而,在实际应用中,图像和视频超分辨率技术经常面临着各复杂场景的挑战,如计算资源有限、退化方式多样(降采样、噪声、伪影、光线明暗和模糊等)、甚至是未知的退化方式等。面对这些挑战,如何从低质量低分辨率图像视频中快速、高效、精确地重建出高分辨率图像视频是个亟需解决的问题。本文以深度神经网络为基础,从复杂场景与实际应用出发,对超分辨率技术中的实时重建、高质量细节恢复、复杂场景模型泛化能力以及高分辨率视频生成等方面展开研究,提出了一系列图像视频超分辨率方法,主要的研究工作如下:·针对实际应用中的实时性要求,本文提出了一种自适应信息滤波图像超分辨率重建网络。该网络以空洞卷积和残差学习为基本组成部分,通过增大网络的感受野来提升浅层网络捕获图像上下文信息的能力,在实现快速重建的同时保证了一定的重建性能。为了进一步提高网络的细节恢复能力,设计了门选择机制和自适应信息融合结构,使网络自适应地过滤图像中冗余的低频信息,同时可以关注并融合更有用的高频信息。在公开数据集上的实验表明了该方法在重建速度和纹理清晰度方面具有卓越表现。·针对图像超分辨率任务中的高质量细节恢复问题,本文提出了一种深度交织网络。该网络采用多路径和多分支的设计方案有效地对网络中不同状态的信息进行融合与增强,提升了网络的特征表示能力。首先,本文将局部残差连接、密集连接、深度可分离卷积三者有机结合,构建加权残差密集模块,以多路径融合的方式实现更精确的特征聚合和传播。然后,在不同分支的交织节点上,提出了非对称协同注意力机制,对来自不同分支的特征进行自适应地筛选和强调,进一步提升了网络对高频细节恢复的鉴别能力。在不同退化类型图像上的实验结果表明了该方法可以在提升图像分辨率的同时显著改善图像细节,体现了模型的鲁棒性和泛化性。·针对真实场景下图像超分辨率模型的泛化能力,本文从图像的细节和结构角度出发,提出了一种细节-结构交替优化的网络处理真实世界中的盲图像超分辨率问题。该网络的核心是由细节恢复单元和结构调制单元组成的细节-结构调制模块,它利用图像细节和结构上下文之间的交互和协作,实现了细节与结构的交替优化。同时,本文从循环卷积神经网络的角度构建盲图像超分辨率网络框架,对图像的细节和结构分量实现跨时间的协同优化。所提出的方法在合成数据集、真实世界未知退化图像以及监控视频图像等多个场景中取得了优异的性能,具有很好的泛化性和普适性。·针对视频超分辨率的重建问题,本文提出了深度双重注意力网络,具体包含了一个运动补偿网络和一个超分辨率重建网络,以充分利用时空信息特征来实现精确的视频超分辨率重建。本文设计的运动补偿网络采用金字塔结构学习相邻帧之间的多级光流表示,并推断它们之间的空间变换实现运动估计与运动补偿。同时,为了减少运动估计带来的图像配准错误,本文提取原始低分辨率相邻帧的细节分量作为补充信息辅助后续的高分辨率视频重建。在超分辨率重建网络中,本文将通道注意力机制、空间注意力机制与残差学习相结合,构建双重注意力残差模块,沿通道和空间维度上使网络更关注利于高频细节恢复的特征。大量公开数据集上的实验结果表明,所提出的方法在客观指标和主观视觉质量两个方面均优于目前最好的方法。
其他文献
城市交通系统是一个开放的复杂动态系统,小汽车出行作为城市交通系统的重要组成部分,长期以来受到交通科学领域的普遍关注。然而,随着我国城市化进程加快和机动车保有量快速增加,停车问题逐渐凸显,并成为影响小汽车出行的一个难点问题。相比其他交通问题,停车问题的解决更依赖于对出行者复杂行为的分析,以及使用运筹学等系统科学研究方法实现供给与需求的精确高效匹配,和各类停车资源的均衡利用。而基于数量控制的许可证管理
学位
高速铁路作为交通运输经济大动脉,与其他运输方式相比具备安全可靠、运输高效、乘坐舒适、环境友好的特点,有效带动了区域经济建设与沿线产业经济的快速发展,是中长距离出行的首选交通方式,在我国当前交通运输体系中发挥着不可替代的作用。在日益增长的客流需求下,列车高速度、高密度追踪运行将成为高速铁路运营管理的新常态。在国家实施“碳达峰、碳中和”双碳战略背景下,如何进一步缩短列车追踪间隔提升运输效率,并进一步降
学位
随着目前经济迅速发展,城市规模逐渐扩大,面对不断增加的交通出行需求,目前尚没有一个有效的交通管理策略,这就使交通拥堵问题日益严重。为了缓解交通拥堵问题,合理调配道路资源,增加交通通行效率,本文在道路流量控制的基础上,对城市通勤小汽车提出出行预约的概念及方案,研究内容如下:1.针对无法准确掌握通勤者出发时刻、路径需求特征的问题,研究基于计算图的通勤小汽车出行计划估计方法,通过设置多层变量间的控制函数
学位
随着移动互联技术的发展,以自媒体为代表的新型社交网络如雨后春笋般出现,催生了一大批移动网络客户端APP,其中就包括微博、微信、论坛等一些自媒体平台,这些平台为自媒体网民提供了畅所欲言的渠道和场所,网民们可以自由地对公共事件、时局或现象等发表观点,或者与异议者展开辩论。与此同时,随着这些交互式自媒体平台的普及,一些潜在的问题也突显出来,在自媒体社交网络中,每个网民都是舆情的生产者和传播者,舆情的形成
学位
图像可逆信息隐藏技术将秘密信息隐蔽地嵌入到数字图像载体中,所得含密图像可正常使用。在特定场景下,隐藏的信息能够从含密图像中准确提取以实现内容安全认证的目的,含密图像也能够完全恢复到原始状态,消除信息隐藏对原始图像失真度的影响。该技术可实现对图像内容的事前保护和主动防御作用,在国家安全维护、司法真实性认证、医学图像处理等强调图像内容安全的敏感领域具有重要的应用价值。本文针对不同形式的图像载体,围绕可
学位
对中小跨径桥梁的健康状态进行检测及监测是亟待解决的问题之一。传统的人工巡检和健康监测等方法鉴于成本等原因不适用于数量众多的中小跨径桥梁,而利用过桥车辆信号识别桥梁参数的方法具有经济、高效等优点,为解决中小跨径桥梁的健康监测问题提供了可行的方法。针对桥梁频率间接识别方法存在的一些问题,本文从识别理论、识别方法和识别精度等方面进行了系列研究,取得如下主要研究成果。(1)基于车桥耦合系统动态响应的解析解
学位
集装箱码头自动化是港口的重要发展方向。在我国,各大港口都普遍投入了大量资金和技术,改造或新建自动化集装箱码头,在新设施设计、新设备选型和新技术引进方面进行了大量工作,在设备自动化、现场无人化和全程可视化方面取得了显著成果。新型设施和设备集成了大量的自动化技术,相比传统设施设备具备明显优势,极大地降低了人力成本,显著提高了码头的生产运营效率。但在实际运营中,受限于原有的调度管理方法,新设施设备在高性
学位
交通流理论是分析和研究机动车、非机动车和行人在道路上的运动规律,以减少出行延误和事故、提高道路交通设施使用效率的理论。它可以帮助理解和表达交通流的属性。交通流理论运用分析的方法来解释交通现象的机理,有助于我们更好地理解交通现象及其本质。只有从根本上解释交通拥堵的原因,才能从源头上采取有效的交通管制措施,为经济、环境和民生的发展提供一条可持续的道路。交通振荡是交通流的一个重要特征。它指的是在交通流中
学位
有机聚合物太阳能电池可将太阳能转化为电能,为人类提供了一种新型、绿色能源技术,由于其易于加工、可制备柔性器件、材料选择丰富等优点,成为人们在可再生能源领域研究的热点。如何提升太阳能电池的光电转换效率并维持比较高的稳定性是主要的研究方向。本论文主要以调控有源层形貌为主要切入点,将Flory-Huggins相互作用参数作为表征活性层内部结构的参考依据,通过调整给体或受体的溶解度参数来调控活性层薄膜的相
学位
金属结构在服役过程中,由于承受多种载荷作用及反复的检修和组装,会产生不同程度的磨损和损伤,这将使其性能、尺寸降低到无法再满足设计要求的水平。在保证结构可靠性的基础上对损伤的结构进行合理高效维修,是实现降低成本、提高效率、充分利用资源的有效途径。激光熔化沉淀技术的诸多优点使之成为金属结构的修复的优选或者首选的技术手段之一。同时,由于激光熔覆过程中,金属粉末本身快速熔化及凝固的特性,修复后结构存在耦合
学位