基于多层信息提取和传递的红外与可见光图像融合研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所 | 被引量 : 0次 | 上传用户:lnlsq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合是计算机视觉领域的一项关键技术,旨在整合同一场景中不同模态传感器捕获的图像,增强对场景的理解。图像融合的关键问题是从源图像中充分地提取互补信息,并将它们结合在一起,生成强度信息显著、边缘轮廓清晰、细节纹理丰富、视觉质量好的融合图像。红外传感器能够依据目标的热辐射信息在夜视或伪装环境下成像,实现全天时/全天候工作。但是红外传感器捕获的图像往往具有较低的分辨率,缺乏细节纹理信息。可见光传感器通过物体反射的光谱信息成像,能够捕获丰富的背景信息,具有较高的分辨率。但是光照变化或者恶劣天气都会干扰可见光传感器工作。由于上述红外与可见光图像之间强大的互补性,二者的融合能够更全面的描述场景信息,被广泛应用在目标检测、识别、跟踪等机器视觉任务中。因此,本文主要针对红外与可见光图像融合技术展开了研究,从多层次信息获取的角度出发,探索不同层次信息之间传递与结合的方式,从而实现红外与可见光图像的高质量融合。本文主要的创新性研究工作及成果总结如下:(1)基于多层低秩分解和显著性的红外与可见光图像融合算法一些传统的图像融合算法在设计融合规则时,未能充分利用输入图像本身的显著语义信息和一些纹理轮廓,导致融合图像目标区域不显著、边缘轮廓模糊。针对这些问题,本文提出了一种基于多层低秩分解和显著性的红外与可见光图像融合方法。首先,为了便于融合规则的设计,利用隐式低秩表示方法,将源图像分解为包含强度信息的基层和包含纹理信息的细节层。然后,在基层融合阶段,为提高融合图像显著目标区域的像素强度和视觉质量,构建了一种由输入图像显著图作为引导的融合策略。另外,为增强纹理信息丰富性和边缘轮廓清晰度,在细节层融合时引入了梯度信息。最后,将融合后的基层图像和细节层图像重构得到融合结果。一系列消融实验证明了所提融合方法各创新模块的有效性。该方法在三个公开数据集上与9种融合算法进行了对比,实验结果表明在定性和定量评价方面所提算法融合性能均超越了其它对比算法。(2)基于多层混合传递的红外与可见光图像融合网络卷积神经网络以其优异的特征提取能力逐渐被应用在红外与可见光图像融合领域。然而,大多数深度学习图像融合网络未充分考虑不同层次特征之间的交流,造成融合图像信息的缺失。此外,一些深度学习网络仍然依赖于设计复杂的融合规则来保证融合图像的质量,使得图像融合变为一项计算量大的任务。为解决上述问题,本文提出了一种多层混合传递网络用于红外与可见光图像融合。该网络主要由多层残差编码模块和混合传递解码模块组成。在编码过程中,考虑到红外与可见光图像较大的差异性,设计了两个独立残差编码分支来提取红外与可见光图像的多层次特征。为降低网络模型复杂度,利用连接卷积操作代替复杂的融合规则对同一层特征进行整合,获取各层次的融合特征图。在解码过程中,为提高融合图像的信息丰富性,构建了一种混合传递解码模块来充分利用不同层次的特征。该模块包含交叉传递和跳跃传递两个部分,交叉传递的目的是使不同层次的特征相互补充,充分融合,跳跃传递旨在弥补解码过程中的信息损失,从而将更多特征传递到融合结果中,提高融合图像的质量。本文在三个公开数据集上测试了所设计网络的性能,实验结果表明该网络不仅能够实现高质量的图像融合,而且能够快速高效地运行。(3)基于多层稀疏型密集连接的红外与可见光图像融合网络本文进一步探索了不同层次信息之间的传递方式,提出了一种多层稀疏型密集连接网络来实现红外与可见光图像融合。密集连接卷积网络可以将每层的输出连接到之后的所有层,能够有效地增强不同层次之间的特征传递。然而,各层网络结构之间过于稠密的连接势必会带来模型复杂度的增加。此外,太多的特征复用也会造成一定程度的信息冗余,降低网络图像融合的性能。综合考虑这些问题,本文设计了一种多层稀疏型密集连接结构,该结构简化了密集连接卷积网络,以一种间隔的信息传递方式代替输入和输出之间的稠密连接,从而在增强多层信息之间交流的同时,减少模型参数和特征冗余。本文在三个公开数据集上测试了所提算法的性能,大量的实验证明所提算法在保证高质量图像融合的同时,能够以更快的速度运行。
其他文献
“三基”工作是燃气集团全力推行并行之有效的一条工作主线。在日益激烈与繁杂的天然气行业发展环境下,对企业准确把握方向、提升经营质量和管控安全风险带来了更大的挑战。燃气第五分公司紧紧围绕集团“三基”十条工作主线,积极探索有效的方式方法,不断加强“三基”建设,对加速燃气集团向高质量发展及转型、不断提升自身战斗力,具有重要的现实意义。因此,如何有效开展“三基”工作,实现企业可持续发展,是摆在企业面前的重要
电力电子变压器(electronic power transformer,EPT)是柔性交流输电系统(flexible AC transmission system,FACTS)中极具代表性的应用之一。该文研究建立了基于半实物仿真技术的EPT实验教学平台,阐述了平台总体架构,并以EPT向无源负荷提供定制电力的应用场景为例,介绍了实验教学平台的基本实验流程,还通过仿真和实验验证了该EPT实验教学平台
当前,数学核心素养是数学教育领域研究的热门议题.数学抽象核心素养作为高中数学的首要核心素养,于学生的个人成长和发展具有重要作用,研究其培养具有重要意义.本研究基于高中数学概念教学的过程,采用文献分析法、问卷调查法、测验法和统计分析法研究数学抽象核心素养的培养策略,研究过程如下:本研究首先对国内外数学抽象核心素养及数学概念教学的研究现状进行梳理和分析,奠定了研究的理论基础.在此基础上,以A省H市某普
《普通高中历史课程标准(2017年版2020年修订)》指出,教师制订的教学目标要有可检测性,能够衡量出学生通过学习所表现出来的进步程度。历史课堂教学目标是指导、实施、评价历史课堂教学的基本依据,因此,如何编写为教、学、评提供基础的三位一体教学目标就成为课堂内落实核心素养的出发点和落脚点。本文试着用"预期学习结果"来编制可教、可学、可评的教学目标,从而让核心素养落实迈出坚实的一步。
期刊
结合重庆出入境检验检疫局国际邮局办事处截获我国进境植物检疫性有害生物菜豆象(Acan-thoscelides obtectus(Say))的疫情,及目前邮检工作难度增大的形势,对邮检植物检疫存在的问题与对策进行了浅析,旨在加强出入境邮件的检验检疫监管。
重金属是引起大米中食品安全问题的主要因素之一,虽然摄入重金属不会立即中毒,但长期摄入过量的重金属则可能导致人体结缔组织损伤、生殖系统功能障碍、肾损伤,甚至导致人体致畸、致癌。本文采用原子荧光法,对大米中的重金属铅、铬、锰、锌、铜等元素进行检测。研究结果表明,铅、锰、锌检出率较高。
数学抽象素养位于六大核心素养首位,贯穿高中概念教学活动始终.数学概念是学习的起点,具有较高的抽象性,但可以通过具体到抽象的过程来归纳数学概念的本质.本文以高中立体几何概念为知识载体,立体几何中有很多抽象概念、定理和性质,学生很难从生活情境和几何图形中抽象出立体几何概念,联结抽象概念和现实情境存在一定难度,时常对抽象的文字表述和符号语言理解不透,不能很好地运用概念解决实际问题,这主要是由于缺乏数学抽
本文主要分析了气相色谱技术的原理、特征及其分类,探讨了其在食品安全检测中应用的重要意义,并综述了气相色谱技术在食品安全检测中的实际应用,旨在提升食品安全检测结果的准确性,有效保障食品安全。
为了筛选出适合鲁南地区栽培的功能性稻米品种,本研究以初步筛选的8个水稻品种为试验材料,通过品种适宜性调查和小区试验,对不同品种的稻米蛋白质、铁、锌、硒进行了定量检测。调查结果表明,各参试品种特点特性表现正常,虽然品种间性状表现差异较大,但均能适应鲁南地区气候,‘长粒香’株型紧凑,‘水晶1号’、‘大粮糯1号’分蘖能力强,各品种对鲁南地区4种主要病害抗性表现较好。检测结果表明,‘黑香DL-1’功能性元
走实践取向之路已经成为职前教师培养的共识,教育实习中指导教师对实习效果的影响举足轻重。当前传统的高校学前教育专业实习指导模式存在某些弊端,如指导教师专业素养落差大、角色定位及关系偏离、指导管理机制不健全、狭隘的职业性实践泛化等。基于此,本文展开原因分析,并提出高质量教育实习新路径——职前职后融通互补与互哺的导师制:完善管理机制、旨归实践智慧、恪守反思性实践,以实现教育实践应有的价值。