深度学习结合NSCT的红外与可见光图像融合方法研究

来源 :长春理工大学 | 被引量 : 0次 | 上传用户:qilina15832583026
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,红外与可见光图像融合算法不断推陈出新,但非下采样轮廓波变换(Non-subsampled Contourlet Transform,NSCT)凭借着平移不变性,具有多尺寸多方向等优点,依旧被广泛应用于红外与可见光图像融合领域之中,伴随着深度学习的快速发展,本文以NSCT为基础融合框架,结合深度学习在图像处理领域优势,通过深度学习与NSCT的有效结合,提升最终的融合图像质量。本文具体工作如下:1)为改善图像融合过程中来自红外目标信息缺失,融合图像中目标模糊与背景对比度低的问题,提出一种卷积神经网络(Convolutional Neural Network,CNN)结合NSCT的红外与可见光图像融合方法。首先,利用深度学习卷积神经网络学习能力,训练针对红外目标提取的神经网络,从而获取红外图像的目标显著图。而后,以目标显著图为基准来指导NSCT的融合过程,使其保留充分的红外目标信息。实验结果证明,融合图像“Nato_camp”中信息熵、空间频率、互信息、像素交叉熵4种评价指标相较于对比算法提升了2.89%、2.23%、0.11%、5.95%;融合图像“Kaptein”中信息熵、空间频率、互信息、像素交叉熵4种评价指标提升了1.83%、3.34%、1.27%、0.04%;保证了红外目标特征在融合过程中目标信息的完整性,又做到融合图像的最终质量在多种客观评价指标上均有所提升。2)为了解决最终融合图像的分辨率较低,放大后局部信息在最终融合图像中较为模糊,缺少空间信息的问题。提出一种基于生成对抗网络(Generative Adversarial Network,GAN)的超分辨率重构结合NSCT的红外与可见光图像融合方法。利用SRGAN对外部经验的学习,对红外与可见光图像进行超分辨率重构。然后,利用自适应引导滤波对NSCT的低频子带提取近似图像与细节图像,以保证最终图像的低频信息的梯度。实验结果表明,融合图像“Kaptein”相较对比方法在信息熵、平均梯度、空间频率、像素互信息、像素交叉熵五种客观评价指标上分别提升了0.002%、57%、14%、0.003%、24%;融合图像“Nato_camp”在平均梯度、空间频率、像素互信息三种客观评价指标上分别提升了58%、13%、8%;证明了SRGAN对红外与可见光图像融合质量的提升,主观上融合图像更适合人类视觉系统观察。综上,本文提出方法旨在提升最终融合图像质量,探讨深度学习与非下采样轮廓波变化有效结合的优势与可行性,实验结果表明,相较于其他方法下红外与可见光图像融合结果,本文方法在各个客观评价指标上均有一定程度的提升。
其他文献
二硫化钼(MoS2)由于其出色的光学特性、可调带隙结构与独特的导电特性,成为近年来过渡金属硫化物(TMDs)中最具发展潜力的材料。同时,薄膜材料凭借其厚度优势成为探索半导体性质、获得特殊结构、制备功能器件的有效手段。因此,探究MoS2薄膜的性质与其在光电转换领域的应用迫在眉睫。本论文采用模拟计算与实验表征相结合的方式,一方面通过物理建模、数值仿真、结构优化等手段研究了二硫化钼的相关性质,采用蒙特卡
学位
组织内物质(尤其是氧气)的交换是通过毛细(capillary)血管内的红细胞运动实现的,因此,相对于很多疾病的诊断和治疗而言,人体组织微血管的血流参数都是至关重要的临床诊断参数之一。相比与主干血管内红细胞的定向流动相比,微血管内结构复杂,目前并没有统一的血流模型对其进行描述。本文建立了网状微血管结构的计算机仿真模型,并基于流体力学(fluid mechanics)和粒子追踪(particle tr
学位
随着微光夜视技术的发展,电子轰击型CMOS传感器(EBCMOS)以其灵敏度高、噪声低、功耗低、体积小等优势,在遥感探测、夜视成像、粒子物理以及天文观测等领域具有广泛的应用场景,成为了国内外相关领域研究的热点。本文利用电子输运模型理论和蒙特卡罗方法,建立了电子在器件中完整的运动轨迹模型,并开展了相关模拟研究实验。对P型基底均匀掺杂和梯度掺杂情况下EBCMOS的电荷收集效率进行了模拟研究,设计了EBC
学位
随着半导体器件的广泛运用,对器件性能也提出了更高的要求,其中提高金属与半导体之间的欧姆接触质量是提升器件性能的关键技术之一。高质量的欧姆接触通常具有以下特性:低的比接触电阻率,均匀平整的接触界面;与半导体之间的高粘附性、好的抗氧化性,同时在高温下运行时能够保持良好的稳定性;表面金属材料向半导体内部扩散深度适宜,阻止杂质原子向外延层扩散;工艺上的易实现及好的机械性能。本文在分析GaAs基欧姆接触国内
学位
超辐射发光二极管(SLD)是一种新型的半导体光电发光器件,它将高定向激光二极管(LD)光束与发光二极管(LED)非相干宽带二者发光特性相结合。理想的超辐射光是相位不同的非相干光源也称作短相干光源。SLD光束方向性的提高使其在与透镜系统或光纤的耦合中效率大大提高,可以应用在精确旋转测量的导航系统的光纤陀螺仪中,也被广泛应用于生物医学和基于光学相干层析(OCT)的工业成像等领域。为了填补OCT光学相干
学位
石墨烯具备的出色光电性能和机械性能能够促进人类在未来能源、工业、农业、医疗等领域的发展。石墨烯本身柔软耐弯折,而且单层石墨烯的透过率能达到95%以上,除此之外石墨烯在常温下本身拥有高达15000 cm~2/V·s的迁移率,这些优点使得石墨烯在前沿研究中有越来越多的身影,基于石墨烯的复合材料器件在终端产品中也逐渐崭露头角。建立在石墨烯基础上的储能器件也大量出现,这些器件都利用了石墨烯本身高比表面积和
学位
全球定位系统应用于多种领域中,为户外环境提供准确的地理位置服务,因信号被大型建筑阻挡,在室内的环境中无法使用GPS进行定位。无线传感器网络技术融合传感器技术、嵌入式计算、无线电通信技术和信息处理等技术,传感器节点可以被布置在任意地点,对于室内环境或检测物体的信息可以进行实时监控和收集。基于此,无线传感器网络技术成为室内场所位置服务的重要技术,填补了GPS技术的空白领域,对于室内待测节点定位至关重要
学位
负折射效应在理论和应用上都远远超过了常规的研究范围,对负折射效应的探索和研究使得制备具有负折射效应的材料的方法变得十分多样,但是普遍存在制备工艺复杂、造价昂贵等不足。电化学阳极氧化技术可实现大面积有序阵列结构制造,且具有成本低廉,操作简单等优势。III-V族半导体磷化铟属于典型的闪锌矿结构,且其介电常数较大,多孔磷化铟纳米阵列结构存在潜在的负折射效应。因此,本文从仿真模拟、多孔结构制备、多孔层剥离
学位
随着智慧医疗、无人驾驶、智能安防等领域的快速发展,如何快速获取高质量的重构图像已经成为目前我国智能化建设等相关领域追求的目标。但是传统“点对点”成像方式由于面阵探测器无法响应的局限,使得在低辐射、低光照下成像质量较差,无法满足智能化等领域的成像需求。而重构过程与探测过程分离的鬼成像技术的出现,突破了阵列式探测器响应极限和探测空间限制,具有抗干扰能力强、作用距离远、全天候监控等独特优势,为低剂量或光
学位
为了实现后期的小剂量爆炸火球内部测温实验,开展炸药爆炸温度的测量技术研究,本文做了一些前期的技术手段和原理研究的工作,主要以可调谐半导体激光吸收光谱技术(TDLAS)为基础,利用直接吸收法,以水分子谱线为研究对象,构建了一个实验分析系统,可适应不同波长、不同功率和不同谱线的激光器,为研究不同谱线的高温测量特性创造了技术条件。本文利用HITRAN数据库得到水分子吸收光谱在不同温度下的吸收度变化,选取
学位