基于自监督重投影的多视红外图像深度估计与超分辨率算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:javaauto
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
利用超分辨率算法获取高分辨红外图像是解决当前我国红外成像器件制造水平低导致成像效果差、成本高昂难以满足需求的一种有效途径。基于多视图像的超分辨率算法以其更好的成像性能成为研究热点,其中又以深度学习超分辨算法最受关注。然而,现有深度学习超分辨率算法训练时用的样本对对应的并非真实的红外图像降质过程,且忽略了高-低分辨率图像的相互配准问题,使得其在实际应用中效果不理想。针对这一问题,本文提出了一种基于自监督重投影的深度估计网络训练方法。在已知多相机间位姿关系的前提下,利用基于立体匹配的深度估计网络提取深度信息用于图像配准。不仅解决了高-低分辨率图像配准问题,还获得了红外场景的深度估计。接着利用多视红外超分辨率网络融合多视低分辨率红外图像信息,获得超分辨率红外图像。本文的主要研究内容和贡献点如下:1)提出一种基于自监督重投影的深度估计网络训练方法。针对图像深度信息获取困难的问题,本文采用自监督重投影的方法,使用基于立体匹配的深度估计网络输入多视红外图像进行深度估计。其中,为解决双目相机下采用自监督重投影不可避免的遮挡问题,设计了三目相机互补重投影法,解决了双目相机下的遮挡问题;为解决红外图像对比度低、纹理较弱的问题,采用伪彩色增强的方式将红外灰度图像映射成伪彩色图像用于深度估计,提升了红外图像深度估计的准确度;此外,本文还根据深度估计网络得到的深度信息生成红外点云。2)设计了多视红外超分辨率重建网络Multi-EDSR。本文采用重投影的方式,可以在已知相机间位姿关系的情况下通过图像深度信息对低-高分辨率红外图像进行配准用于多视超分辨率网络模型的训练。本文所设计的Multi-EDSR网络在EDSR网络的基础上,设计了多视图像特征融合模块,采用共享权重的卷积层进行特征提取用于多视图像特征融合,提升了红外图像超分辨率重建的效果。3)搭建了一套包含软硬件的多视红外图像采集系统。利用该系统构建了多视红外图像数据集,并在此数据集上开展了实验验证。实验结果表明本文所设计多视红外深度估计算法所估计深度基本准确,符合真实场景中景物的空间分布;根据深度估计所生成的三维点云清晰准确,可以反映真实场景中的景物状况;恢复的超分辨率红外图像趋近于原始高分辨率红外图像,从而验证了本文方法的可行性与有效性。
其他文献
近年来,高光谱遥感技术的快速发展使得其在越来越多的领域得到应用,而高光谱图像分类是其中一个重要的分支。对高光谱图像进行有效的分类有利于地物信息分析,这一技术在农业、军事、地质等领域都有着广阔的应用前景,但机理复杂、数据量大等缺点也制约着高光谱图像分类技术的发展。高光谱图像的分类过程存在较多的困难:光谱特征具有非线性特征;相邻波段间具有相关性;训练过程中需要大量的标注的数据来进行训练,当具有标签的训
学位
随着深度神经网络的发展,基于全监督的语义分割方法在近年来不断取得突破进展,然而全监督的语义分割方法过度依赖于密集像素标注,这类标注信息需要高昂的时间与人工成本。为了降低语义分割任务对于标注信息的强依赖性,基于弱监督的语义分割方法逐渐受到了人们的关注。该类方法通常采用较为容易获取的标签,例如边界框标签,涂鸦标签,和图像级标签等。在这其中,图像级标签因为制作成本较低而被广泛使用。基于图像级标签的弱监督
学位
遥感影像变化检测旨在从多时相遥感影像中确定与获取感兴趣的地物要素变化,这在城市规划、环境监测、经济发展、国防建设等领域有重要的应用。深度学习为遥感影像变化检提供了新思路,它能够从多时相影像中自动学习特征,高效准确地提取变化信息。然而,基于深度学习的变化检测方法存如下问题:变化信息较少,相对大场景中的非变化信息是稀疏的,标注数据类别间存在不平衡;需要手工标注大规模数据集进行训练,标注成本极高。本文围
学位
近年来,由于网络的迅速发展,复杂网络变得越来越难以有效的检测,不仅是因为网络的规模的骤增,还因为网络中的节点包含着丰富的内容。另外,网络的节点也不在仅仅处于一个社区内,还有可能与多个社区有所联系。因此,对于重叠社区和属性社区的检测,是本文所研究的重点内容。如何从复杂的网络中识别关键的信息,发现其社区结构,有着极其重要的现实意义。社区结构作为复杂网络的一种重要特征,对于理解整个网络的结构特性、节点功
学位
目的通过诊察并对比多囊卵巢综合征患者与健康女性小腿段足三阴经的阳性反应,观察多囊卵巢综合征患者足三阴经的经络腧穴反应现象。方法以18-35岁的40例多囊卵巢综合征患者(多囊组)和35例健康女性(健康组)为研究对象,应用传统经络诊察法和人体压痛力学定量测试仪,分别于PCOS组和健康组的非经期诊察双侧小腿足三阴经阳性反应物(条索、结节、松软、凹陷等形态异常)及压痛的出现情况、以及测定压痛VAS值及压痛
学位
基于快速搜索和发现密度峰值的聚类算法(Clustering by Fast Search and Find of Density Peaks,DPC)被提出以来,由于其思想简单,所需参数少,聚类高效等优点被广泛应用。然而,随着对DPC算法的深入研究,一些问题和不足也逐渐暴露出来:截断阈值(9((8)难以确定、聚类中心难以准确选择、样本划分易导致连带错误、对具有复杂流形结构、类簇之间密度差异较大数据
学位
近年来,因为人类的步态即使在远距离低分辨率下也具有很强的辨别能力,所以步态识别越来越受到人们的关注。但不同视角下行人的步态图像序列差异较大,因此步态识别的性能易受到视角变化的影响,影响最终的识别率。针对这一问题现有的算法主要分为以下三类:步态能量表征模板、提取视角不变性特征、学习不同视角下的映射关系。而本文提出了利用图卷积网络来解决由视角差异引起的识别率低的问题。本文的主要工作和创新点如下:(1)
学位
复杂网络领域中,链路预测是其中一个关键的研究方向。链路预测就是根据网络的已知拓扑信息去预测网络中丢失的连边、潜在的连边或在未来某一时刻将会出现的连边,甚至可以找出网络数据集中错误的连边信息。目前,科学家针对链路预测问题提出了不同的算法。基于节点相似性算法分为基于局部信息的相似性算法和基于全局信息的相似性算法,局部相似性指标使用网络中局部邻居和结构信息进行相似性大小预测,计算复杂度低,准确度低;全局
学位
遥感图像语义分割旨在为遥感图像中的每一个像素点都分配相应的类别。目前基于深度学习的遥感图像语义分割已经在军事、地质、城市规划等领域出现了许多成功的应用案例,然而随着遥感图像应用范围不断扩大,给遥感图像的语义分割任务带来了许多新的难题,因此它仍是一项具有挑战性的任务,表现在:第一,遥感图像中的各类地物尺寸各异,尺度差异较大,若要准确地对地物目标的类别进行预测以及完整地对地物目标的边界进行分割,需要提
学位
三维目标检测是自动驾驶环境感知中的关键技术,可以为安全可靠的自主驾驶提供基础。激光雷达和彩色(RGB)相机是自动驾驶汽车上最重要的两个传感器,分别获取点云和图像。点云包含精确的距离信息,但稀疏且无序,进行目标检测时,对低分辨率或遮挡目标检测困难,存在误检和漏检的情况。图像包含RGB色彩值,具有纹理和边界等细节信息,但是因为成像时近大远小的特点,以及距离信息的缺失,在三维目标检测任务中无法估计出目标
学位