基于无监督深度学习的红外与可见光图像融合算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:InsideCSharp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
红外与可见光图像的融合技术是图像融合领域中一项十分重要的研究。红外图像以亮度的形式反映不同物体的热辐射差异,从而具有夜间可视性;可见光图像拥有丰富的纹理信息,且与人类的视觉系统一致。通过图像融合技术将这两种图像进行有效的融合,融合后的图像能够在突出红外目标的同时保持足够多的纹理信息,可更好地实现目标监控、跟踪等任务。传统的图像融合方法主要是基于多尺度变换(Multi-Scale Transform,MST)的方法和基于稀疏表示(Sparse Representation,SR)的方法,这些方法通常需要大量的手工设计,计算复杂度高,融合效率较低。近年来,深度学习逐渐应用到图像融合任务中,并在一定程度上解决了这些问题。对于红外与可见光图像融合任务而言,由于没有可参考的融合图像,无法直接利用源图像进行有监督地学习,因此现有的红外与可见光图像深度融合算法大多需要借助离线训练的网络模型抽取源图像特征,或在其他有监督的任务中完成对网络地训练,然后利用训练好的网络模型实现融合任务。这些方法在网络训练过程中红外与可见光源图像并没有参与训练,网络的自适应能力较差。此外,这些方法虽然取得较好的融合结果,但仍需要手工参与设计,没有提供端到端的解决方案。针对上述问题,本文以深度学习为基础,主要研究如何将无监督的学习算法应用到红外与可见光图像的融合任务中。本文的主要研究内容有以下几个方面:(1)以DeepFuse为基础提出一个多尺度卷积网络(Multi-Scale Convolution Fusion Network,MSC-Fuse)。DeepFuse是针对多曝光图像融合任务设计的深度自编码网络,网络由编码器、融合层和解码器组成。编码器用来对源图像的特征进行提取,融合层对编码器提取到的深度特征进行融合,最后由解码器产生融合图像。DeepFuse利用一个无参考的图像质量度量,实现网络的无监督学习。该算法的主要缺点在于编码器网络结构过于简单,无法对源图像特征进行充分地提取。因此,本文在DeepFuse基础上引入了一个多尺度卷积模块,有效的提升网络的特征提取能力。此外,本文还在损失函数中加入一个像素级的损失函数,用来捕捉可见光图像中细节纹理特征。实验表明,本文有效的对DeepFuse改进,取得更好的融合结果。(2)受DeepFuse启发,针对红外与可见光图像的融合任务提出一个全新的无监督的深度融合算法(Unsupervised Infrared and Visible Image Fusion Algorithm,UIV-Fuse)。该算法可以由输入的红外与可见光源图像,直接预测出包含源图像显著信息的融合图像。UIV-Fuse利用结构相似度量(Structural Similarity Index Measure,SSIM)作为损失函数,通过组合两种无参考图像评价指标计算损失函数,实现对网络无监督训练的目的。同时本文还将通道注意力模块引入到该网络模型中,进一步提升了融合图像质量。实验表明,UIV-Fuse可有效的对红外与可见光图像的显著特征进行融合。(3)对网络结构进行进一步探究,提出基于多尺度特征增强的融合算法(Feature Enhancement Fusion Framework,FE-Fuse)。FE-Fuse在编码器中引入Rep VGG模块,该模块能够在引入少量参数的情况下,进一步提升编码器的特征提取能力。特别的是,该算法在特征融合层构建一个多尺度的特征增强模块,用于对网络融合后的深度特征进行空间维度的增强,实验表明该模块能够有效提升融合结果。此外,还对常用的深度特征融合策略的进行对比实验,说明该算法选取特征融合策略的依据。实验表明,FE-Fuse的融合结果能够显著突出源图像中的亮度信息,且对细节纹理信息也有较好的保留。(4)针对现有的深度融合算法没有考虑源图像多尺度特征,同时对编码器网络提取的深度信息没有充分利用的现状,构建一个基于图像金字塔的融合算法Pyramid Fuse。Pyramid Fuse首先将源图像通过下采样的方式构建图像金字塔,然后对不同分辨率的图像输入到各自的编码器中提取特征。最后对不同编码器得到的深度特征进行融合和重建,得到最终的融合图像。在编码器中,该算法对编码器设计多个分支,实现对源图像的低层特征和高层特征的提取,并针对高层和低层特征的特点设计不同的融合策略进行融合。实验表明,该算法能很好地捕捉源图像中的边缘纹理信息,实现更好的融合效果。
其他文献
智能设备的兴起,基于位置的服务的社会和商业需求显著增加。在室外环境中长期以来使用GNSS进行导航或确定准确的位置信息。由于GNSS信号无法穿透建筑物以及复杂的室内环境,GNSS无法在室内环境中提供可靠的基于位置的服务。MEMS传感器在智能手机中的部署为行业和学术界带来了新的机遇和挑战。室内环境中基于位置的服务的需求和潜力迫使研究人员研究更可靠、准确、低成本的室内定位方法。基于智能手机的室内定位技术
随着物联网产业的蓬勃发展,无线传感器网络为其提供了区域感知、数据采集等多方面的应用支撑,而信息路由协议是影响是影响传感网性能的重要研究领域。各传感器节点一旦被放置则难以改变位置更换电池,节点间一般采用单跳或多跳的形式实现自组织通信,单一的随意路由选择极易造成网络资源浪费,形成“能量空洞”等现象。因此,应对不同应用场景,链路的不同需求,应设计具有针对性的网络路由算法。论文针对层次型路由算法在节点异构
随着机器人应用领域不断扩展,机器人智能化控制技术愈见短板。常用的机器人控制方式主要是通过示教器或者离线编程的方法。这种固定的点到点的操纵控制方式,不能够应对复杂的抓取环境,需要机器人具有更高的智能化。此外,传统的机器人抓取针对的是特定的检测工件,通过人工设计特征提取,并使用模板匹配等方法。该种方法可移植性不强,鲁棒性较低。因此,面对类别多样、姿态各异的抓取对象,本课题提出一套在ROS(Robot
目前,微纳技术发展迅速,使得微机器人已经广泛应用于血栓疏通、靶向药物输送、近距离放射治疗和热疗等医学生物领域,体现出革命性的应用前景。此外,磁场驱动技术具有无损伤、兼容性强以及无线调控等特性,广泛应用于微机器人的驱动控制中,所以开展复杂环境中磁场驱动技术的研究具有重要意义。而现有的磁场驱动系统存在磁场梯度小、工作空间小等缺点,同时在复杂环境中微机器人动/静态障碍物避障的一系列难题亟待解决。为了解决
在焊接领域中对结构加强筋的焊接是一类常见的工程。结构加强筋是指用来在结构设计中为了加强结构面的承载能力而设计的一类构件,这一类构件往往在前期固定时往往会存在些许变形和大量的飞溅干扰点,以往对这一类工件的焊接一般依靠人工手动操作,焊接的工作量大,重复性高且焊接现场环境复杂存在危险。在自动焊接阶段大部分的焊缝定位方法是基于二维图像结合几何方法提取出焊缝,该方法提取出的焊缝对结构加强筋缺乏适用性,整体定
火灾是发生最频繁、破坏性最大的灾害之一,它严重威胁着人类生命和财产安全以及自然生态环境。图像型火焰检测技术有效地弥补了传统的传感器火焰检测装置传播速度慢、误报率高、无法适用于室外大空间等弊端,得到广泛的关注与研究。提取火焰特征,使用模式识别算法检测火焰是图像型火焰检测的一类主流方法。但是,现有的图像型算法大多是针对已经形成火灾的火焰进行分析识别,对于未形成火灾的早期火焰高危点的检测能力却很有限。而
颗粒物传感器,属于气体传感器的一种,作为环境检测系统(Environmental Monitoring Management System,EMIS)的重要组成部分之一,越来越受到社会与国家的关注。颗粒物传感器不仅在环境检测领域,也在诸如工业、医疗等领域发挥作用。而光散射法因具备测量速度快、实时检测、精度高、无损耗、便携性好等优势,近些年来在颗粒物传感器的市场化应用中越来越多。本文主要针对光散射算
养殖水域溶解氧的产生与消耗过程对于水草布局、人工增氧等具有重要的价值,因此研究溶解氧的机理模型非常重要。光合作用对于养殖水域溶解氧产生至关重要,但是文献上鲜有围绕光合作用建立养殖水域溶解氧机理模型。针对该问题,本文考虑了河蟹养殖水域的各种环境因素,考虑光合作用活动,研究了溶解氧的机理建模和增氧控制方案,具体工作如下:1.针对以水草为初级生产者的河蟹养殖池塘,建立了溶解氧系统动力学模型。综合考虑了水
近年,科学技术的充分发展,极大地助力了扫地机器人行业的迭代与发展。从第一款扫地机人诞生至今国内外企业对扫地机器人一直持续着更新与设计。而大量新技术的介入,市场上扫地机器人产品愈渐复杂,用户在使用中的学习成本变高。本课题来源于江南大学设计学院的研究生校企合作项目。本文的主要目的是以全流程体验的眼光,通过优化交互指引的设计,引导消费者在智能家用扫地机器人使用过程中得到最佳的用户体验。本文的研究方法是针
随着互联网技术的飞速发展和工业4.0战略的提出,全球制造业在往高精度、高柔性、高智能程度方向发展。科技水平的提高使人们进一步追求高生活质量,人们开始关注自身居住环境的舒适性,如建筑材料的环保性等。在我国每年新增20亿平方米建筑面积的背景下,木质材料作为典型可持续建筑材料,其在民居、旅游等建筑场所等得到广泛应用。作为木质建筑主要构成材料——木结构组合墙体,却面临着生产自动化程度低、产品报废率高的生产