多源影像的信息融合算法研究

来源 :中国科学院大学(中国科学院西安光学精密机械研究所) | 被引量 : 0次 | 上传用户:qfcywm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
热红外图像又称长波红外图像,通过接收目标物辐射的温度而成像,图像中的前景、背景等信息由于其热辐射的差异而区别开来。热红外图像的获取不依赖于外部光线,因此对弱光环境下的遮挡物体有良好的检测性。场景中物体温度趋同、成像过程中产生噪声等因素会造成热红外图像内部相关性强,导致图像的可理解性弱、边缘和轮廓模糊等问题。这些缺点使得热红外图像难以独立应用在目标识别、异常检测等任务上。相比之下,可见光图像更能满足人类视觉的直观理解。在同一场景下,可见光图像具有更高的空间分辨率,图像的纹理细节更清晰,目标的可理解性更强。结合两种光源的优势,可以生成目标清晰、分辨率高的新图像,满足全天候(all-weather)任务的要求。针对上述问题,本文应用了对抗生成网络,在保持已有信息的同时,实现两种图像风格的互相转换。并提出了一种新颖的双流神经网络,整合热红外与可见光图像中各自的有效的信息,形成更符合人类直观理解的新图像。主要工作如下:1)设计了一种基于渐进式对抗生成网络的热红外-可见光图像转换算法。由于热红外图像与可见光图像在视觉理解和分辨率等方面差异巨大,适用于可见光图像的系统往往不能够良好地兼容热红外图像。因此,本文提出了一种渐进式生成策略的风格转换方法,旨在将低分辨率的热红外人脸图像转换为高分辨率的可见光人脸图像。我们同时使用配对和非配对的两种图像数据,提高模型的泛化性能,避免归一化的生成结果。并且使用感知损失,在特征层面上约束生成图像更多地保持双源图像的细节。实验表明,渐进式的生成策略有利于训练的稳定性,相比其他相关算法提高了15%的生成性能。2)提出了一种基于双流神经网络的热红外-可见光图像融合算法。由于缺少大量的融合结果作为基准数据,双光图像融合过程缺乏约束和指导。通常做法是只使用可见光图像进行训练,在测试阶段对不同的源图像使用相同的特征提取操作,或者只着重于某类图像的一些显著性信息展开融合,忽略了双光图像之间的区别和联系。为解决这些问题,本文提出的双流网络为可见光图像与热红外图像提供了独立的网络层,使得在训练阶段模型可以同时地、全面地学习双光特征,并结合两种图像各自的特征指导融合图像的生成。这样,在两类图像均参与训练的同时,形成一个训练阶段与测试阶段网络结构的保持一致的端到端模型。本算法在TNO数据集上进行了多层级结构相似性等指标的计算,较同类算法提升了1.39%,达到了该数据集上的最佳精度。实验表明,本算法能够更多地保留热红外图像与可见光图像各自的特征,抑制伪影的生成,提升了融合精度。
其他文献
为深入了解液滴的几何特征和动力学特性,本文采用实验的方法,以液滴形成过程的研究为基础,通过对液滴的形态、尺寸、运动轨迹的测量,对液滴的生长、拉伸和分离的动态过程进行深入探究,探讨了周期性滴状模式、混乱状态和射流等三种模式,以及电场对滴状向射流转变的影响。在研究过程中,液体通过注射泵以一定的流量从垂直毛细管的管口喷出。通过搭建可视化实验平台,对液滴的形成过程及动力学特性进行观测、记录与分析。具体工作
硫化氢(H2S)是主要的气体污染物之一,广泛的存在于天然气、石油裂解气、焦炉煤气和沼气中。H2S具有强烈的毒性和腐蚀性,在一定浓度下,会危害人类身体健康,腐蚀金属管道、设备。在空气中,H2S容易被氧化为SO2,导致酸雨的形成。因此,去除工业气体中的H2S是十分必要的。目前,活性炭吸附法因其操作工艺方便、优良的孔隙结构,良好的再生性能,是最有潜力的脱硫方法之一。但由于原料的限制,其应用成本较高,限制
工业余热回收利用是贯彻节能减排政策的有效手段之一,而换热器是余热回收系统中的常用设备,其中氟塑料换热器因其优异的耐腐蚀、抗结垢性能等逐渐得到广泛应用,尤其对电力、化工、制冷等领域的气态余热的深度回收有着重要应用价值。本课题结合合作企业的研发需求,以热电厂烟气余热回收领域中的翅片管氟塑料换热器的研究开发为主线,对氟塑料换热器的热阻分析,翅片管氟塑料换热器流动传热数值模拟及结构优化、热工设计计算、应用
光子晶体作为一种人工微结构材料,因其对光子路径具有很强的调控能力而成为国内外科研工作者的研究热点。近几年,研究非互易波导的传输特性一直都是光子晶体方向中具有非常大的科学应用潜力的研究内容。单向边界态是构成非互易光波导的最重要组成部分。本文在单向边界模式的基础上,研究了正方晶格磁光光子晶体中单向电磁边界模式的同向耦合和反向耦合效应及应用,进一步用类比的方式分析了在Sunflower型准周期磁光光子晶
由无细胞毒性元素组成的亚稳β型钛合金凭借其出色的生物相容性、良好的超弹性和形状记忆效应以及低弹性模量等特性,已经成为生物医用金属材料领域的研究热点。通过调控合金中的β稳定元素含量,亚稳β型钛合金从高温β相区水冷淬火后既可获得单一的α″马氏体,也可获得单一的β母相,前者可获得良好的形状记忆效应,后者则可望具备优良的超弹性。当β稳定元素含量介于这两者之间时,亚稳β型钛合金经高温淬火后则会呈现一种(β+
建国初期,湖南省在土地改革运动中取得了显著成绩,但由于土地改革后乡村社会中仍存在分配不均、乡村基层组织政权被地主控制等不合理的现象,湖南省政府又开展了以“查田查阶级”为主要内容,“保田保翻身”为主要原则的土改复查运动。长沙县作为土地改革运动中完成较好的地区,积极落实政策,成立了土改复查委员会,相继展开工作,在巩固土改成果基础上解决遗留问题,并展开了土地确权,整理乡村区划以及建立人民代表大会制度等工
氢气是一种高效、无污染的清洁能源,电解水制氢是目前生产氢气最有效和便捷的方法之一。为了降低电解水制氢的能耗和节约成本,迫切需要开发出高效稳定、低成本的非贵金属基催化剂(如Fe、Co、Ni等过渡金属基催化剂)来替代传统的Pt、Ru、Ir等贵金属基催化剂。近年来,过渡金属硫化物、氢氧化物由于其优异的性能被认为是很有前途的电解水催化剂材料。另一方面,人们常使用比表面积大、导电性好、有利于气体扩散以及机械
同步辐射光作为一种新型光源,具有优良的特性,在各个基础学科中得到了广泛的应用。随着科学研究的发展,同步辐射光的稳定性越来越得到重视,提高同步辐射光的稳定性是近些年研究的重点。本文主要就双晶单色器中,影响晶体稳定性的三个因素进行了研究,主要内容如下:首先研究了晶体微调机构对同步辐射光稳定性的影响,提出了将一阶固有频率作为晶体微调机构稳定性的评价参数,比较了三种柔性铰链机构的一阶模态,选择了稳定性更高
混流泵的发展虽然晚于离心泵和轴流泵,但是混流泵流量大、高效区宽、适用扬程范围广和不易汽蚀等一系列优点使得其在工程应用中发展迅速,尤其是中高比转数(400~800)的混流泵在城市防洪和大型调水工程中得到了广泛的应用。混流泵根据压水室形式分为导叶式混流泵和蜗壳式混流泵,导叶式混流泵在南水北调东线工程建设过程中产出了一批优秀的水力模型,工程应用相对较为成熟;中高比转数蜗壳式混流泵目前整体效率偏低,缺少优
甲醇作为新型的清洁替代燃料,在动力性和排放性方面具有显著优势。但甲醇具有粘度低和汽化潜热高的特点,未燃甲醇流入油底壳而稀释润滑油,对内燃机关键零部件的润滑性能和耐腐蚀性能产生不良影响。本文以甲醇发动机关键摩擦副柱塞偶件和缸套-活塞环为研究对象,采用数值模拟结合摩擦试验的方法,探究表面织构对关键摩擦副润滑摩擦性能的影响。首先,分别参照润滑油互溶性测试标准和石油产品腐蚀性能测试标准完成试验,分析稀释率