基于深度学习的真实场景单幅图像超分辨重建方法研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:albeewang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高分辨率图像为人类提供了丰富的信息,促进了安全监控、医疗诊断、登月探索等领域的快速发展,但由于采集和传输等过程易受成像设备限制和外界环境干扰,导致获取到的图像分辨率低,因此图像超分辨重建技术应运而生。得益于深度学习强大的特征学习能力,基于深度学习的单幅图像超分辨重建方法层出不穷并且获得了较好的结果,但仍旧存在一些问题:现有方法常用的线性退化模型无法准确刻画真实场景图像退化的高度非线性特征,致使深度超分辨模型在真实场景低分辨率图像上表现不佳;现有方法仅能处理固定尺度超分辨重建,缺乏灵活性,并且无差别对待整幅图像,忽视人类视觉因素。为了解决以上问题,本文对真实场景下的单幅图像超分辨方法进行了研究,主要工作如下:(1)提出基于视觉特征和空间转换特征的多尺度图像超分辨重建方法针对目前深度超分辨模型处理尺度固定以及忽视人类视觉因素等问题,本文提出了一种基于视觉特征和空间转换特征的多尺度图像超分辨重建网络,来进一步提高特征提取网络的表达能力和多尺度重建图像的视觉质量。与传统方法不同的是,该网络将尺度因子作为输入参数,通过尺度扩展和特征转换策略将尺度信息引入特征提取网络,从而获取到与输入尺度对应的深层特征。为了更好地完成多尺度超分辨重建任务,受元学习启发,本文采用单个模型来动态预测每个输入尺度因子对应的上采样滤波器权重,然后与该尺度对应的深层特征进行卷积,最终得到重建的超分辨图像。此外,对图像的背景、轮廓和细节信息分别采用L2损失、L1损失和对抗损失进行约束,并且引入更加符合人类视觉的深度特征损失以进一步提升超分辨图像的视觉评价结果。实验结果表明:本文提出的方法能够在单尺度和多尺度上均获得更符合人类视觉的超分辨图像。(2)提出基于双重注意力机制图像退化模型的真实场景图像超分辨重建方法针对真实场景中高-低分辨率配对图像难获得、线性退化模型无法准确刻画真实场景退化过程等问题,本文提出一种基于双重注意力机制的真实场景图像退化模型,来进一步提升研究内容(1)中深度超分辨模型的性能。该模型通过建立双三次下采样图像到真实低分辨率图像的映射网络来将真实场景中的自然特征引入下采样图像,从而获得更准确的退化模型。为了使退化网络更加关注真实场景的自然图像信息、抑制无关信息,本文在骨干网络上添加信道注意力机制和空间注意力机制。此外,本文提出了一个可端对端训练的分频网络来自适应地对图像信息进行分频,从而进一步提升退化网络性能。然后,我们使用该退化模型产生的真实配对样本对本文提出的深度超分辨网络重新进行训练,使得训练出的网络能够更好的重建真实场景下低分辨率图像的细节。实验结果表明:本文提出的退化模型能够更加准确地刻画真实场景图像退化过程,并且基于该退化模型的深度超分辨网络在标准数据集Set5、Set14、General100以及真实场景低分辨图像数据集DPED上的性能大大提升,获得了更符合人类视觉的超分辨图像。
其他文献
构建基因调控网络可以更好地理解不同生物分子间的相互作用,以及如何调控基因表达水平发生变化,为揭示分子生物体系的功能、药物开发设计和疾病治疗提供了科学的理论和方法。考虑到实际生物系统呈现周期振荡、分岔等非线性特征以及存在时滞因素的影响,本文主要研究分数阶时滞基因调控网络模型的构建与动力学分析,主要工作包括:(1)基于基因转录调控的线性模型建立分数阶时滞基因调控网络模型。为了提高模型的辨识精度,研究了
学位
变压器是电网中最重要的一种输变电装置,其工作状况的好坏关乎电网的安全、稳定。对绕组变形的诊断一直是变压器故障诊断技术的核心研究内容。频率响应法因为检测效果良好被广泛应用在变压器绕组检测领域。当前,变压器绕组变形的故障诊断研究主要针对单一变形故障,对于混合故障少见涉及,为此,本文提出一种针对混合故障的融合多特征的特征量提取方法,并采用相关向量机分类器进一步精确诊断变压器绕组混合故障类型。首先,使用P
学位
图像盲去噪是指在未知或少知图像噪声信息的情况下,利用已有的退化图像信息恢复得到与原始图像尽可能相近的图像。目前大多数的图像去噪算法都假设加性高斯白噪声的噪声水平已知,但实际上退化图像的噪声信息是未知的,因此假设噪声水平已知的图像去噪算法难以满足实际需求。为了能在噪声水平未知的情况下,灵活地去除退化图像中的噪声,并尽可能地保留原始图像信息,本文进行了以下两方面的工作研究:(1)数据与模型混合驱动的稀
学位
森林火灾是林业最可怕的灾害,事关人类的生命和财产安全。目前,无人机技术已被广泛应用在森林火灾监测领域。尤其是,无人机遥感技术在采集火场数据、预测火灾规模和估计火点位置等方面发挥出巨大作用,显著提高了消防人员对火灾态势的感知能力。开展基于无人机图像的森林火灾识别与分割研究,能够辅助消防人员识别早期森林火灾并估计火灾规模,具有较高的研究意义和应用价值。因此,课题针对无人机森林火灾图像识别与分割,利用深
学位
孤岛交流微电网中作为分布式电源的清洁可再生能源渗透率较高时,并网变流器通常采用下垂控制。由于线路参数不匹配,这些分布式电源输出的无功功率不能按容量比例进行分配,不仅降低了电源的利用率,甚至会引起无功环流。另外由于微电网中采用下垂控制的分布式电源不能等效为PV、PQ或平衡节点,因此无法直接基于传统的潮流算法进行微电网的潮流优化。本文首先通过分析两种连接形式的分布式电源之间无功功率的分配机理,给出在下
学位
遥感是空间信息技术中获取数据的主要来源,同时也是获取军事信息与情报等重要数据的来源。一般来说,从遥感卫星传感器上获取的遥感数据是无法直接进行使用的,需要经过某些技术的处理和解译后才能成为具有应用价值的信息。近年来,遥感卫星技术的迅速发展使得所获得的遥感数据具有海量、高分辨率等特点,但由于传统的解译方法存在着不能将海量高分辨率遥感图像中所包含的有价值信息充分利用的问题,因此对于高分辨率遥感影像智能解
学位
运载火箭是人类目前探索宇宙的关键运载体,其能否安全稳定的运行直接决定了飞行任务能否顺利完成。高精度完备的弹道信息为其飞行任务决策,安全控制、飞行引导等提供了重要保障。在现代飞行任务中,为获取高精度的弹道信息,外弹道测量系统通过多种、多台测控设备来联合测量得到火箭飞行的多种状态信息,然而对于多输入状态信息,少输出弹道信息的情况会产生冗余信息。因此,针对外弹道测量冗余信息,需要研究外弹道测量数据融合处
学位
随着社会的发展和科技水平的不断提升,机器人技术的研究与应用已进入了崭新的阶段,其研究价值与研究意义得到了各个国家的重视。目前,在各研究领域中都可看到移动机器人的身影,此外,移动机器人的自主探索与环境重建任务也引起了众多学者的关注。虽然这些技术已取得了一定的成果,但是仍存在许多技术难点。例如在室内环境未知的情况下,如何使机器人进行高效的自主探索并构建相关环境地图,仍是移动机器人领域的重点关注问题之一
学位
交通基础设施是指为保障交通系统安全正常运营而建立的基础性工程设施,由公路、桥梁、轨道、隧道、高架道路、车站等构成。其中,路桥是交通基础设施最重要的构成部分,对促进国民经济、推动社会发展有着巨大作用,是城市正常运转的“大动脉”。随着设施投入使用年限增加,受天气变化及外界荷载长期作用的影响,路桥等基础设施难免出现异常振动及裂纹损伤等隐患,如果没有及时发现并进行修复,轻则影响行车、行人的舒适度,重则影响
学位
目前,随着半导体行业迅猛发展,用于半导体产业的硅材料需求不断增加。同时,对芯片集成度要求也日益增长,这对硅单晶品质提出了更高的要求。Cz法是制备硅单晶过程中最主要的技术方法。为了生长出大尺寸、高品质的电子级硅单晶,研究Cz法硅单晶批次生产过程中直径和热场温度的建模与控制过程具有重要意义。硅单晶生长过程是典型的批次生产过程,存在批量化、品种多样、工艺复杂、技术密集等特征,且该生长过程是处于高温、多场
学位