基于深度学习的红外图像融合与超分辨率研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xjjxffxxff
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息爆炸的时代,各种成像技术迅速发展。红外传感器具有可以在可见度极差的情况下工作和抗干扰能力强等优点,在现代高科技领域发挥着越来越重要的作用,具有十分广阔的发展和应用前景。另一方面,红外图像也存在空间分辨率低和边缘模糊等缺点。因此,红外图像的分析与处理就成为红外图像及其应用中的研究热点。本课题主要研究内容是红外与可见光图像融合研究以及红外图像超分辨率研究。(1)红外与可见光图像融合。红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。针对DenseFuse方法的不足和传统的基于多尺度分解的图像融合方法的启发,本课题提出了一种独具创意的渐进式红外与可见光图像融合框架,该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,最终逐层重建融合图像。提出的方法有以下两个优点。首先,与许多基于深度特征的融合方法不同,我们不仅对包含全局信息的高层特征进行融合,而且对包含更多细节的低层特征进行融合。其次,我们不仅在原始尺寸的特征上进行融合(保持更多细节),还在其他更小尺寸的特征上进行融合(保持语义信息)。大量实验证明了我们方法的有效性和泛化性。与其他先进的方法相比,我们的方法在主观和客观评估上都显示出更好的结果。(2)可见光图像引导的红外图像超分辨率。考虑到很多场景下低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率。为此,本课题提出了一种使用高分辨率可见光图像来引导红外图像进行超分辨率的神经网络模型。考虑到红外和可见光图像对一般是不对齐的,两者之间存在一定的视差,我们使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,我们使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型的性能。实验结果表明,我们提出的方法可以取得优于对比方法的超分辨率性能。针对DenseFuse融合方法的不足和基于多尺度分解的图像融合方法的启发,本课题提出了一个基于U-Net的渐进式红外与可见光图像融合框架,提出的方法实现了比较好的结果,超越许多图像融合方法。面向引导超分辨率任务,本课题提出了一种通过Transformer来使用高分辨率可见光图像引导红外图像进行超分辨率的方法,提出的方法能够充分利用红外图像和可见光图像之间的关联信息,同时取得在主观和客观评价上均优于其他对比方法的性能。
其他文献
基因型多样性是生物多样性的一个重要组成部分,它对于群落生产力、群落稳定性、群落结构以及群落中物质循环等方面有着显著的影响。刈割是草地管理利用的一种常见方式,刈割会影响植物生长,而植物基因型多样性的提高可以缓解刈割对植物生长的影响,促进植物恢复。羊草广泛分布于亚欧大陆,是我国北方草原常见的优势种与建群种,对于我国北方草地生态系统功能有着重要的意义。羊草基因型多样性的提高能够缓解对植物干扰,促进其生物
学位
目前多数学者针对鸟类繁殖这一热点问题已开展了大量研究。但在社会性单配制鸟类中,育雏阶段两性亲本育雏投入的多少究竟由什么因素来决定迄今仍未得到明确阐释。多数研究使用两性亲本的体征作为衡量指标来研究亲本身体质量与育雏投入的关系,发现针对不同研究物种得到的结果差异很大。因此,我们推测体征也许并不是衡量亲本育雏投入的身体质量标准,应考虑其他的衡量指标。对于羽色亮丽的鸟类,羽色通常具有丰富的生态学功能,是个
学位
氮氧化物NOx是大气污染的重要来源,选择性催化还原技术(NH3-SCR)是应用最广泛的NOx控制技术之一,其关键在于开发低成本、高性能的催化剂材料。钒钨钛基催化剂虽工业化应用多年,但操作温度高(300-400℃)、成本高、易被烟气中SO2毒化,不适用于烟气温度较低的非电力行业工业锅炉和窑炉。以活性焦(炭)为代表的非金属碳材料成本低、比表面积高、结构可调性好,是具有潜力的低温NH3-SCR催化剂。但
学位
随着“双碳”的提出,我国对能源的需求量不断增大,如何提高能源利用率成为当务之急。高效储能传热系统是解决能源利用率低下的有效方法之一,其关键在于开发新型的储热换热工质以满足其需求。潜热型功能热流体作为一种高潜热流动工质,可有效的强化设备吸换热,在能源领域具有巨大应用潜力。本文以潜热型功能热流体为研究对象,制备高潜热相变微胶囊和导热增强型潜热型功能热流体,开展其在矩形截面微通道内的流动传热特性研究。基
学位
重型燃气轮机代表了一个国家的工业发展能力,彰显着国家的高科技实力,具有极其重要的战略地位。为了向大参数、高性能目标发展,燃气温度在不断升高,但同时高温也成为了影响重型燃气轮机安全稳定运行的一大因素,而高温环境下的辐射效应是不可忽视的。近几年受“双碳”政策的影响,氢混燃气轮机的发展逐渐受到重视,因氢气的绝热燃烧温度更高,辐射效应对燃气轮机的影响会更加突出。因此开展氢混燃气轮机燃烧室内辐射热环境的研究
学位
图数据不仅包含每个样本点的特征,并且往往会包含大量样本点的关系数据,而这些数据具有很高的价值。图机器学习就是将机器学习技术应用于图数据。图机器学习提供了充分利用这些关系数据的办法,它使得在考虑图中每个节点的自身特征的同时,考虑邻节点以及邻节点的特征,这样就能够获取更好的性能。本文所研究的内容基于一种图机器学习的新方法——图扩散卷积。这是一种对于图结构的预处理方法,其原理为按照一定的系数将某节点的高
学位
鸟类的婚配制度复杂多样(单配制、一雌多雄制、一雄多雌制和混交制),而亲代抚育的投入在婚配关系的进化中发挥重要作用。巢寄生鸟类雌雄个体均不参与亲代抚育,为探索鸟类特殊婚配关系提供了一个独特的机会。关于巢寄生鸟类的领域行为的研究结果不尽相同,根据子代的亲子鉴定判断产卵区的空间分布对于了解雌雄个体的领域行为具有重要的价值,并且还有助于了解空间利用模式对婚配关系的影响。大杜鹃(Cuculus canoru
学位
采用离心和丙酮萃取的方法,对焊锡膏中的金属粉和助焊剂进行初步分离,再通过闪蒸、固相微萃取、热裂解及甲酯化等不同进样方式,进行气质联用(GC-MS)分析测试,对焊锡膏的助焊剂成分进行定性分析。结果表明:通过该方法能有效分析出助焊剂中所包括的绝大部分溶剂、活性剂、缓蚀剂及部分添加剂,而松香由于其种类繁多和异构体较多导致结构差异较小,暂时无法确定具体类别,触变剂因其在甲醇中溶解性差使得甲酯化效果不好和热
期刊
近年来,计算服务化的发展为互联网带来的众多虚拟服务,极大丰富了人们生活。但种类繁多的海量服务导致了服务供需不匹配问题,用户面向多领域的复杂需求为服务的精确匹配带来了挑战。解决服务精准匹配问题的第一步是获取用户完整需求。用户需求作为连接用户与服务提供者的关键,能够实现服务供需匹配的解耦。随着人工智能技术的发展,基于人机对话交互的方式来向用户提供服务的软服务机器人正逐渐成为研究热点。作为用户与服务提供
学位
近年来,随着国际形势的日益严峻,具有自主知识产权的工业软件开发对我国各个产业都至关重要。本文根据相关工业技术的发展需求,针对三维复杂结构非稳态导热分析的自主知识产权的仿真软件开发与对流边界换热系数的辨识问题开展了系统研究。以任意复杂结构三维非稳态导热仿真分析为目标,从核心求解器算法与代码、前后处理模块和数据接口几方面开展研究。采用有限体积法、结构化与非结构化网格系统,实现了任意结构三维非稳态导热过
学位