基于深度学习的红外和可见光图像融合方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:sun_sun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
红外和可见光成像技术在军事、医疗、安防、交通、电力等领域都有着广泛的应用。图像融合旨在综合多模态图像表征的关键互补信息,创建信息更加全面和完整的融合图像。因此,红外和可见光图像融合既有助于丰富人类视觉理解和提升模式识别效果,又能够推动红外和可见光成像技术的进一步应用发展,具有重要的研究意义和应用价值。为满足实际应用要求,本文利用深度学习技术深入挖掘了多模态图像的语义信息,开展了基于深度学习的红外和可见光图像融合方法研究。本文的主要研究内容及创新性工作如下。由于不存在理想输出作为标记信息,图像融合是一种无监督学习任务。针对深度学习融合方法中存在的约束设计难点,本文提出了一种基于生成对抗和孪生网络的图像融合方法,利用图像的全局语义信息作为先验知识来驱动融合。在模型设计方面,设计了基于残差学习的融合网络结构,提升了非线性融合建模能力。在模型优化方面,设计了基于孪生网络的判别网络结构和基于模态信息完整度的判别规则,实现了高质量的无监督学习。在模型训练方面,从像素、结构、模态三个层次构建了损失函数,对训练过程进行了有效约束。实验结果表明,所提方法能够创建多模态信息完整性和准确性较高的融合图像。复杂场景下的多模态图像存在信息冗余,但现有方法在图像融合中对关键信息的选择和表达能力有限,导致融合图像所含信息失准和视觉表现失真。针对这个问题,本文提出了一种结合注意力机制的图像融合方法,利用图像的关键语义信息来提升融合表现。一方面,构建了基于注意力机制的特征校准模块,准确充分地挖掘了多模态图像的重要语义属性和显著内容信息,为深层特征分配了通道和空间上的注意力。另一方面,为提升融合过程中信息的一致性和准确性,基于密集连接思想建立了信息流动通路,实现了特征的流动和多级复用。实验结果表明,所提方法能够实现多模态关键信息的自适应选择和准确表达,进而创建视觉效果较优的融合图像。最后,本文还提出了兼具上述优势的组合方法,并基于变电巡检数据进行了应用实验。实验结果表明,红外和可见光图像融合有助于丰富人类视觉理解和提升目标检测效果,具有重要的实用价值。
其他文献
纳米技术的重点是纳米级结构的设计。纳米材料在工业、生物医学和环境领域的应用越来越重要。生物纳米反应器是一种模拟自然区域化的纳米材料,区域化即细胞的各种生物分子通常都限制在一定的区域内,不同区域负责不同的功能,如细胞的能量代谢主要是发生在线粒体内,蛋白质的合成则在细胞质内进行;而区域化对于隔绝有毒的中间反应物、提高反应效率及防止不同反应的相互影响等方面都起到了重要的作用。病毒、铁蛋白、细菌微室和某些
液滴撞击液体表面现象广泛见于自然界及工业应用之中。尽管液滴撞击液体表面是一个经典的流体力学问题,也经过了长时间广泛的研究,但是由于液滴与液体表面的相互作用及复杂的流动过程使得其具体的动态过程仍未被充分理解。本文通过高速摄影与图像处理技术研究粘性液滴撞击液体表面的过程,重点关注液面上方的飞溅、射流及液冠的形成和液面下方液滴的互溶形态等问题。一般认为,当液滴撞击液池时会有沃辛顿射流产生。然而本研究中使
近年来,太赫兹技术在通信、安防、物质鉴定等多个领域的应用发展迅速,随之太赫兹辐射的生物损伤性成为人们密切关注且亟待研究的问题。蛋白酶在人体生理活动中扮演着不可或缺的角色,有关太赫兹辐射对碱性磷酸酶功能影响的研究较少,它们之间的相互作用机制也有待挖掘。因此,本文以碱性磷酸酶为研究对象,旨在研究太赫兹辐射(0.1 THz,13 mW/cm2)对碱性磷酸酶活性的影响,并从蛋白结构层面探索其相互作用机制,
过去十年中,包括电子皮肤在内的可穿戴电子设备已取得了显著的研究进展。压力传感器,作为电子皮肤的重要组成部分,由于在健康监测、人机交互和人工智能等领域的潜在应用引起了巨大的关注。如何改善压力传感器的性能,尤其是灵敏度和检测下限,对于拓展压力传感器的应用范围十分重要,但是到目前为止,这依然是一大挑战。本论文报道了一种基于仿生多级结构的超灵敏压阻型压力传感器且该传感器具有新颖的光增强的功能。该表面多级结
目前,随着工业生产自动化程度提高,机器人在汽车、港口大型构件制造等领域应用广泛。节约能量一直是学术界和工业界关注的重点。因此,随着机器人大范围的应用,如何更好地节约能量必将是未来工业发展关注的核心。在焊接领域,焊接自动化离不开焊接机器人。工业应用中的大部分为弧焊机器人,在焊接过程中,如何在保证焊接质量的前提下减少焊接机器人的功率消耗具有重要的实际应用价值,其一可以节省能量,其二可以降低工业生产成本
地源热泵技术由于其节能、环保等优点在国内得到了越来越广泛的应用,对于地源热泵系统的性能研究主要方法有实测数据分析、建立仿真模型以及数据驱动技术预测等。首先,因为很多地源热泵系统没有安装监测系统导致实测数据的获得变得很困难,其次仿真模型的建立过程非常复杂,所以现在对地源热泵系统性能的研究越来越多的利用数据挖掘技术。在常用的数据挖掘技术中,随机森林模型(Random Forest,RF)具有稳定性强、
DB(Design-Build)总承包模式逐渐在我国工程建设领域得到广泛应用,联合体组成的承包商承接DB项目的情况也越来越多,承包商根据DB模式的特点,可以对项目的设计和施工进行一体化的整合优化,从而实现项目利润率的增大。联合体承包商在DB项目实践过程中会面对很多风险,工程设计为项目建设过程中的龙头,联合体承包商设计方的风险管理不当,会直接影响项目的成本、质量与效益,目前专门针对DB模式联合体设计
基于分布式光纤传感的周界安防系统能够灵敏地监测环境振动,通过光纤传感信号判断入侵事件。在实际应用环境中,光纤传感信号模式复杂且存在噪声干扰,需要设计模式识别算法对光纤扰动信号进行分类,发出入侵预警。如何设计区分度更强、更易于学习的信号特征提取方法,以及选择合适简便的算法设计分类器模型,达到更准确的识别精度是近年来的研究热点和难题。本文针对光纤传感信号模式识别的特征提取方法、分类器设计等方面进行研究
超大流量的分布式拒绝服务(DDoS)攻击已经成为了网络安全的重要威胁。已有的DDoS防御手段集中于末端防御,由于流量已经汇集,这给防御方带来了隐私泄露和服务延迟的隐患。同时,混合DDoS攻击也给中间网络防御方法带来了挑战。针对传统的云服务器DDoS过滤方法的缺陷,本文提出一种将DDoS防御策略分配至边缘服务器,并使用强化学习优化防御策略分配的方法,并且设计了一种基于联邦学习的边缘服务器DDoS流量
随着现代建筑科技的发展,居民在室内活动和工作的时间也越来越长,人们对建筑物内空气质量提出了更高的要求。新风系统可以对进入室内的空气进行过滤、消毒、杀菌、增氧、预冷、预热等处理,为室内补充新鲜有氧的清新空气。在物联网技术的带动下,越来越多的家居电器实现了与互联网的互通互联,但目前多数应用仅限于家庭局域网。由于我国新风系统发展较晚,与互联网有机结合较少,多数新风系统还未实现云端远程控制和数据集中统一管