基于卷积神经网络的红外与可见光图像融合算法

来源 :兰州交通大学 | 被引量 : 0次 | 上传用户:hzuns
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
红外与可见光图像融合是同一场景下将不同传感器采集到的不同类型图像,通过一定的算法将其融合到一起的过程,实现红外与可见光图像优势互补,解决了单一图像信息量不足的问题,从而提供质量更高、更精确的信息。为目标识别、目标追踪等领域奠定了基础,在机器视觉、目标检测和军事等领域有着广泛的应用。针对目前红外与可见光图像融合存在的问题,本文在利用传统方法的基础上,引入卷积神经网络,这可以使算法获取更多的细节特征,本文利用其优势完成以下工作:(1)针对融合图像细节、纹理不够清晰的问题,本文提出了一种基于非下采样剪切波(Non-Subsampled Shearlet Transform,NSST)与卷积神经网络(Convolution Nerual Network,CNN)的红外与可见光图像融合算法。该方法首先使用NSST进行分解源图像;然后针对低频图像采用相似性匹配融合规则,将高频图像输入到IFCNN网络进行特征提取,再通过L2正则化、卷积操作和选择最大策略得到最后的高频图像;逆变换得到融合结果图。从最终的实验结果可知,本文方法很好地保留了图像的边缘细节信息,具有良好的视觉效果。(2)针对融合图像边缘模糊、对比度较低的问题,本文提出了一种基于窗口经验模式分解(Window Empirical Mode Decomposition,WEMD)与生成对抗网络(Generative Adversarial Networks,GAN)的红外与可见光图像融合算法。该方法将处理信号的方法引用到图像融合中,首先使用WEMD将图像分解成内蕴模式函数分量(Intrinsic Mode Function,IMF)分量和残余分量,残余分量采用简单的加权平均进行融合,因为其中包含的细节信息较少;针对IMF分量利用主成分分析(Principal Components Analysis,PCA)进行融合,然后重构得到初步的融合结果图,将初步的融合结果图输入到改进的生成对抗网络中,为了更好地提取其中的有用信息,将生成器和鉴别器均加入稠密连接,从而补全红外与可见光的信息,最终得到融合结果。实验结果表明,本文方法突出了红外图像的目标,提高了对比度,而且在客观评价指标方面也有明显的优势。本文设计了图像融合系统,与另外八种图像融合算法进行主观和客观评价,通过对比算法可以直观地看出提出算法的效果,在该系统可以更便捷地查看融合图像和评价指标,为红外与可见光图像融合提供技术支持。
其他文献
在全球气候变化背景下,两栖物种的灭绝风险不断上升。横断山区是我国两栖物种较丰富的地区,同时也是我国两栖物种的主要保护空缺区之一。当前两栖物种在横断山区的分布状况并不明朗,气候变化对区域内珍稀濒危两栖物种分布的潜在影响也亟待发掘。本研究基于横断山南生物多样性保护优先区内2019年至2020年两栖动物的实地调查数据,利用优化后的Maxent模型和KISSMig模型,预测在物种最大迁移速率分别为0.5
学位
二型花(dimorphic flower)作为一种植物中广泛存在的多态性,由相同的基因型产生,是一种独特的表型可塑性的体现,在植物的极端环境适应和生殖保证中起着至关重要的作用,具有很高的生态和进化意义。二型花植物通常拥有两种花朵类型:一种是较大的色彩艳丽的开放受粉大花(chasmogamous flower),一种是较小的且花瓣颜色接近叶片绿色或无色的闭锁受精小花(cleistogamous fl
学位
图论起源于柯尼斯堡七桥问题,与数学联系密切,目前在计算机和数学领域都有很重要的研究和应用。图染色是图论的一个研究点,同样有着广泛应用,尤其适用于组合优化问题的解决。现实中的很多问题都可以抽象成随机图进而利用图染色方法去解决,如地图着色、任务调度、最大支配度、矩阵运算、通信编解码等等。从公开发表的文献中可以看出,目前已有的染色方法和结果只能解决抽象为特殊图或一些点数较少的随机图的现实问题,对点数较大
学位
户外视觉系统通常对天气因素比较敏感,尤其是雾霾和沙尘等。在雾霾和沙尘等恶劣天气下,空气中的浑浊媒质和悬浮水溶胶粒子极大地阻碍了目标场景到成像设备之间光线的正常传输,使得成像设备获取的图像或视频出现了一系列不良现象,例如对比度受损、图像细节丢失、场景颜色偏移和可见度下降等,导致户外视觉系统的工作效能严重降低。因此,随着智能化和视觉系统的发展与需求,对雾霾和沙尘天气下的退化场景实现可见度复原成为计算机
学位
信息技术的不断发展,各个行业会产生海量的文本数据。与此同时,使用自然语言处理相关技术挖掘数据间的联系,潜在的语义关系愈发重要且充满挑战。共指消解任务是自然语言处理领域的重要研究内容,广泛应用于自动问答,文本摘要,阅读理解,知识图谱等领域,具有重要的学术研究价值和商业使用前景。目前,在深度学习框架下的共指消解研究正在成为主流的研究方法,主要集中在如何使用基于句中的词嵌入信息有效识别实体和实体之间的共
学位
近几年,由于非常规突发事件爆发的规模逐渐扩大,严重影响我国经济的快速增长及社会的稳定发展。全世界各类灾害性事件也频繁爆发,并且发生范围持续扩大,以至于传统小规模、未及时处理的常规突发事件逐渐演化为覆盖范围广、恢复极度困难的非常规突发事件。由于非常规突发事件具有不明显性、极度罕见性、十分复杂性、难预知性、巨大破坏性和应对时间紧迫性等特征,一旦非常规突发事件爆发,其产生的衍生灾害事件比常规突发事件更难
学位
单核苷酸多态性(Single Nucletide Ploymorphysim,SNP)位点是研究人类家族、动植物遗传变异的重要基础,因此被广泛应用于群体遗传学、疾病相关基因等研究,并在药物基因组学、诊断学和生物医学中发挥着重要作用。在药物基因组学研究中,识别SNP位点-药物之间的关联关系是临床精准用药的关键。然而,传统的生物实验方法在验证大量SNP位点-药物之间的关联关系时,不仅成本高、效率低,而
学位
近年来,滑坡、泥石流等地质灾害的频繁发生,给人们的生产生活带来了极大的损失。随着航天遥感和无人机技术的发展,地面变化和交通设施可以被全天候实时监视,为人们实时监测和预防灾害提供了有力的技术支持,可以最大限度的保护民众生命和财产安全。图像检测方法可以快速提取出不同时间监测对象的变化情况,已被广泛应用于地质灾害监测、关键设施损伤监测等诸多领域。本文针对多时相遥感图像和桥梁裂缝图像自身的特点,提取图像的
学位
随着计算机科学技术的快速发展,各个领域的复杂关系产生了多个复杂网络,比如:社会网络、信息网络、生物网络和技术网络。链路预测是复杂网络中重要研究内容,它是在给定网络中利用已有的各种信息来预测尚不存在连边的两个节点发生链接的可能性,在社会网络中的朋友推荐系统、预测蛋白质之间的相互作用、推断网络演化机制等领域均有广泛应用。经典链路预测算法大多是从网络的拓扑结构包含的信息出发研究的单机制算法,但这些算法的
学位
研究背景IL-15作为一种多效细胞因子,不仅调节先天性免疫反应,而且调节适应性免疫反应,刺激记忆CD8+T细胞、NK细胞、NKT细胞的活化和增殖,并调控着不同非免疫细胞和组织的稳态和生长。IL-15受体(IL-15R)由三种亚基组成,即特异性高亲和力受体IL-15Rα,以及与IL-2共用的中间亲和力受体IL-2Rβ、γ。IL-15Rα广泛表达于各种免疫和非免疫细胞类型,IL-2Rβ、γ主要表达于T
学位