基于光照感知的可见光—热红外图像语义分割

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:tszl8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割旨将场景图像解析为一系列连贯的语义区域,以实现对场景中所有元素的精确分割与识别,在无人驾驶、医学诊断等领域具有重要的意义。目前,基于可见光(Red-Greed-Blue,RGB)单模态图像语义分割方法已经取得了显著的进展。然而,此类算法容易受环境、光照变化的影响,具有较低的鲁棒性。与可见光图像不同,热红外(Thermal,T)图像在不同光照和天气条件下均能够稳定地反映温度高于绝对零度的物体所包含的信息。鉴于可见光图像和热红外图像之间的互补特性,基于可见光-热红外(RGB-T)多模态图像语义分割模型通常情况下可以获得比基于RGB单模态图像语义分割模型更好的分割效果。目前主流的RGB-T图像语义分割模型通常采用逐元素相加、级联或注意力机制加权等方式捕获模态间互补信息。然而,这种仅仅依靠图像外观(Spatial Appearance)信息的融合方式在融合过程中容易引起每个模态内部分有用信息的丢失和干扰信息的引入,从而降低融合特征的辨别力,影响最终的语义分割效果。事实上,光照信息在一定程度上可以反映场景中图像局部区域信息的可靠性,探索并利用图像光照先验信息有助于进一步提高语义分割的性能。基于此,本文首先研究基于光照感知的RGB-T图像语义分割。在此基础上,考虑到实际应用中硬件资源的限制,本文还进一步研究基于光照感知的轻量级RGB-T图像语义分割。主要研究内容如下:第一,提出一种基于光照感知和特征增强的RGB-T图像语义分割模型。该模型通过挖掘光照先验信息并结合注意力机制,引导网络在特征融合过程中更加关注可靠图像信息的提取,同时抑制干扰信息的引入。具体来说,本文首先提出一种光照感知网络预测可见光图像中的光照强度分布,并设计一种权重聚合函数对预测的光照强度置信图进行调制,生成局部区域光照感知权重图,以反映每个模态输入图像局部区域信息的可靠性。在此基础上,提出一种注意力交互与特征增强模块,将上述获得的局部区域光照权重图与自空间注意力权重图交互,生成更加可靠的空间信息权重图,并将其分别作用于可见光特征与热红外特征,以便获得更具鉴别性的单模态图像特征。随后,提出一种多尺度特征交互与融合模块,通过多尺度特征交互及自适应选择的方式捕获模态间互补信息,并用于最终的语义分割推理预测。在公开数据集MFNet上的实验结果表明,相对于当前主流算法,所提出的基于光照感知和特征增强的RGB-T图像语义分割模型能够获得更高的分割精度。第二,提出一种基于光照感知和图像重构的轻量级RGB-T图像语义分割模型。上述基于光照感知和特征增强的RGB-T图像语义分割模型可以通过光照感知权重提升分割性能的同时有效抑制干扰信息的引入,但具有较高的参数量和计算复杂度。为此,本文还提出了一种基于图像光照感知的轻量级RGB-T图像语义分割模型,该模型在保留了光照感知权重的基础上,设计了一个三分支深浅层网络,分别用以提取RGB-T图像的语义信息和细节信息。此外,提出一种多分支光照指导聚合模块,利用光照先验信息引导特征融合。同时,还提出一种基于对抗学习的图像级重构策略,并联合边缘检测任务,以弥补网络模型轻量化带来的性能损失。与主流的多模态图像语义分割模型相比,所提出的模型能够大幅提高模型的推理速度,同时,具有较少的分割性能损失。
其他文献
随着“碳中和”、“碳达峰”发展理念的提出,以光伏和风电为代表的可再生能源发电技术取得了飞速发展。逆变器作为可再生能源发电的关键环节,研究其控制技术是保证逆变器安全稳定运行的重要基础。因此,本文结合滑模控制的基本理论,针对单相L型逆变器和单相LC型逆变器,分别提出了基于滑模的一阶切换序列控制技术和二阶切换序列控制技术,并从理论上分析了控制参数对系统性能的影响,搭建了其对应的仿真模型,分析验证了所提方
学位
随着电子科学技术的不断发展,电设备面临的电磁干扰问题愈发严重,为了应对这一现象,通常使用屏蔽方舱与屏蔽机箱机柜等屏蔽体对其进行防护,屏蔽效能测试是评估屏蔽体屏蔽性能的重要方式,因此屏蔽效能正确测试方法的研究便尤为重要。在现行屏蔽效能测试标准中,被测屏蔽体在屏蔽效能测试过程中需处于空腔状态,而已经实装的屏蔽体,内部一般会有多个电子设备,对其进行测试时会出现不满足测试标准的情况。本文以屏蔽方舱与屏蔽机
学位
强电磁脉冲是一种具有前沿陡峭、频率分布宽、瞬时功率大,峰值场强大、影响范围广等特点的高强度瞬态脉冲。高强度的瞬态电磁脉冲会在电子设备中耦合出现一个较强的干扰信号,这个信号会使电子器件,电子设备和电子系统造成紊乱,轻则干扰其正常工作,重则直接毁伤,对电子设备的安全造成巨大威胁。电起爆装置又名电火工品,是一种装填引燃或起爆药剂,能利用不同种类的较小的外界能量(包括机械能、热能和电能等形式)激发,发生燃
学位
随着航天工程朝着高性能、集成化、智能化的方向不断发展,航天航空更依赖于半导体技术,同时需要性能和可靠性更高的晶体管。随着晶体管的集成度和性能逐渐提升,晶体管也按照摩尔定律逐渐缩小,目前器件的尺寸已经缩小到纳米级别,栅氧化层减小到几纳米的程度,辐射环境中栅氧化层在电应力下的寿命成为可靠性研究的关键问题,而相比于大尺寸器件,纳米器件的辐射效应有新的表现,因此对器件的辐射及可靠性研究尤为重要。本文通过仿
学位
近几年,随着工业互联网技术与工业大数据技术的不断发展,传统工业也正朝着数字化与智能化方向转型,工业模型作为传统工业转型升级的动力来源,需求量和开发能力日益增长,高质量的工业模型在不同行业、不同环节均爆炸式涌现。在工业模型规模日益庞大的行业背景下,也暴露了工业模型管理引擎模型分类管理能力不足,模型检索效率低下等问题。因此,本文以工业模型管理引擎为研究对象,对引擎架构、模型分类、模型检索等技术展开研究
学位
随着索牵引并联机器人在工业生产、辅助救援以及医疗康复等领域中的应用愈发复杂,人们对其控制系统的精度提出了更高的要求。开环控制系统的控制精度受制于其数学模型的准确性,为保障系统控制精度,应结合传感器与闭环控制算法改进控制系统,而传统的接触式传感器在长期使用中存在精度下降、灵活性差、更换更新不便等问题。因此,本文以四索牵引并联机器人为研究对象,提出了一种基于双目工业相机的非接触式测量方案,设计了基于双
学位
随着电子信息技术的发展,表面贴装技术(Surface Mount Technology,SMT)产线已处于智能化、数字化转型的关键阶段。传统的SMT生产制造系统缺乏与物理产线的关联融合,对生产活动的预见性不足,难以满足产线智能化生产的需求。数字孪生作为实现生产智能化的有效手段,能够满足产线生产资源可视化监控、生产过程实时分析和优化指导。本文通过设计SMT产线数字孪生系统总体架构,研究数字孪生数据处
学位
液压管路系统是飞机安全运行过程中关键组成部分。现代飞机逐渐朝着系统高压化、结构布局复杂化发展,其振动问题也显得尤为突出。但是当前对管路结构振动问题的研究大都针对管路系统中较为特定的单一管路,缺乏对于管路系统中复杂多分支、多管并联和多管混联管路的动力学分析及结构强度评估的通用化方法。鉴于此,本文基于参数化思想,利用ANSYS软件的APDL、CFX的CCL和CEL语言建立了复杂液压管路CAE模型和多工
学位
数字化检测旨在通过测量设备如三坐标测量机、激光测量仪、光学扫描仪等采集待检工件表面的点云数据,获取工件的实际加工尺寸,然后与设计模型比对确定加工质量是否满足设计要求。传统的数字化检测需检测人员手动在点云数据生成的网格模型上测量、人工查询设计图纸或三维模型进行实测值与设计值比对,检测效率低,针对这一问题本文提出了一种基于三维模型的工件加工质量快速检测方法,其基本思想是:以工件的三维设计模型及其产品制
学位
空间可展开结构作为航天器的重要组成部分,已广泛应用于空间通信、对地观测、卫星导航及深空探测等领域。随着航天技术的发展,各种航天任务对可展开结构的形面精度提出了更高的要求。为提高有限元模型的预测精度,准确预测可展开结构的力学性能,从而快速实现可展开结构的形面调整,本文对可展开结构的不确定性模型修正和形面调整问题进行了研究,具体内容及成果如下:(1)为准确预测结构的力学特性,使仿真结果精确逼近试验结果
学位