面向开放集高光谱图像分类的基于自监督多任务学习和特征融合的深度卷积神经网络

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:epslon003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高光谱遥感成像技术的不断发展,高光谱图像在现实世界中的应用已经成为遥感领域中的重点研究方向并受到越来越多学者们的关注。区别于自然图像和多光谱图像,高光谱图像具有更多的光谱波段和更多的光谱信息,便于研究者对地物目标进行更好的分类。深度学习方法可以有效提取高光谱数据中的光谱-空间信息,已经在高光谱图像分类任务中取得了很好的效果。但是,现实世界中的高光谱数据集往往是开放集,即由于时间成本和人力成本等原因,现实世界中往往很难对待研究区域内的所有样本进行采样,因此会导致在测试数据中存在不属于训练数据中任何类别的新类别,然而目前的分类方法基本都在研究闭合集场景,即假设在测试数据中没有未知类别,以致于这些方法在现实世界中会将新类别的数据错分为某种已知类别;同时,在现实的高光谱图像分类任务中一般很难获取到足够的有标签样本来训练网络;此外,对特征的提取尚不够充分以及高光谱图像中的噪声污染等问题,这些都进一步限制了分类精度的提升。针对上述问题,本文主要研究在现实世界中如何充分利用高光谱图像信息以及如何实现开放集高光谱图像分类,完成的主要工作如下:(1)提出了一种基于深度卷积网络和自监督多任务学习的高光谱图像分类方法,旨在充分利用无标签样本进行训练以缓解现实世界中的高光谱图像训练样本不足的问题。该方法利用自监督学习方法使模型能够利用无标签样本对网络进行充分的预训练,并通过参数迁移及多任务学习来微调网络,使网络具备更好的分类能力。在基于自监督学习的预训练阶段,通过数据重建任务对特征提取子网络和数据重建子网络进行预训练,由于该学习过程不需要数据标签,因此可以利用无标签数据的丰富信息来充分训练网络以缓解小样本问题;在基于多任务学习的微调阶段,我们首先将预训练后的网络参数迁移到带有分类功能的网络上,然后利用少量有标签样本对网络进行微调,在该阶段同时最小化重建子网络的重建损失和分类子网络的分类损失,以提升网络性能并实现网络的分类功能。该模型充分利用无标签样本进行训练,缓解了现实世界中的高光谱图像中训练样本不足的问题。在三个真实的高光谱图像数据集上的实验结果验证了该方法的有效性。(2)提出了一种基于自监督多任务学习和极值理论的开放集高光谱图像分类方法,旨在解决现有模型由于无法对未知类进行识别,从而无法实现现实世界中的开放集高光谱图像分类的问题。该方法在基于自监督多任务学习的高光谱图像分类方法的基础上,引入极值理论和威布尔分布模型以拟合重建损失,实现了对现实世界中开放集高光谱图像的未知类数据的判别。该方法不仅充分利用了无标签样本对网络进行训练以缓解有标签样本少的问题,还使模型拥有了对未知类的判别能力,实现了现实世界中的开放集高光谱图像分类。与其他现有方法的对比实验表明该方法具有较强的竞争力。(3)提出了一种基于特征融合和注意力机制的开放集高光谱图像分类方法,旨在充分利用高光谱数据中更深层的光谱-空间信息,进一步提高模型对数据抽象特征的提取能力,以提高对已知类的分类能力,并在现实世界中的开放集高光谱图像上实现更好的分类效果。该方法通过融合不同网络深度中的特征数据,能够更充分地提取高光谱图像中的光谱-空间信息,从而使网络获取到的样本特征更加全面,进一步提高网络的特征提取能力和分类能力。同时,通过利用注意力机制,本方法可以更好地利用有用的光谱信息以及抑制噪声信息。在三个现实世界中的开放集高光谱图像上的实验结果验证了所提方法的有效性。
其他文献
行人检测作为智能安防系统、自动驾驶系统、智能机器人等应用领域的关键技术,有重要的研究价值和意义。目前基于深度学习的行人检测已初步取得成效,但针对大视场高分辨监控视频中的行人检测研究较少,由于其中行人数量多、尺度差异大,已有的行人检测模型难以实现准确的检测定位。本文开展了基于深度学习的大视场高分辨监控视频行人检测研究,结合图像的特点,在图像预处理,提取特征,图像后处理三部分进行了改进,提升了行人检测
学位
人脸吸引力评估研究作为计算机视觉领域中具有挑战性的课题,受到了许多学者的广泛关注,同时也取得了一系列研究成果。但是先前的人脸吸引力评估方法主要学习的是从人脸美学特征点到吸引力得分之间的简单映射,这些方法忽略了人脸吸引力评估中存在的主观性,即不同的人对人脸美学的认知或评判标准是存在偏差的。另外,现有的公开人脸吸引力数据集规模较小,使得模型容易过拟合且泛化能力较差。针对以上问题,本文提出基于相对排名的
学位
目标跟踪问题是计算机视觉领域的热点研究课题,其通过视频序列第一帧目标的位置尺度信息,预测出后续帧目标的位置和尺度。目标跟踪技术广泛应用于安防监控、智能交通和体育赛事转播等领域。现阶段的目标跟踪面临许多挑战,比如运动模糊、低光照、目标被遮挡、背景干扰等因素,影响了跟踪器的性能。近年来借助深度学习的蓬勃发展,科研学者提出了基于深度学习的目标跟踪框架来解决可见光(RGB)目标跟踪问题,这些目标跟踪算法利
学位
当前,工程实践领域中的许多问题都可以转化为多模态优化问题,即要求同时找到问题的多个或全部最优解,以供决策者进行选择。进化算法因其具有全局选择和随机搜索的特点,常用于解决优化问题。然而,传统的进化算法的目的是找到问题的一个解,在处理多模态优化问题时,难以稳定地同时收敛到多个最优解。为了提高进化算法处理多模态优化问题的能力,需要保留种群的多样性,小生境技术的加入能够很好地实现这个效果。差分进化算法是进
学位
随着移动互联网技术的迅速普及,个人以及服务器上的图像资源已经越来越丰富,这个巨大的图像数据库中蕴藏着大量有价值的信息。视觉模式挖掘技术致力于对海量图像数据自适应分析并处理,以此获取有意义的规律并加以利用,该任务也是近年来多媒体数据挖掘领域的热点研究方向之一。视觉模式是指通常出现在图像中的基本元素,并且往往比原始像素传达更高级别的语义信息。它们可以捕捉视觉对象或者场景的本质内容,并代表了对象在视觉世
学位
大多数机器学习问题可以描述为数据项加约束项的形式。当约束项是稀疏约束,即需要求解的稀疏或在某个域内稀疏时,则问题转变为稀疏约束问题。稀疏约束问题具有广泛的研究意义,如图像去噪、信号恢复、超分辨率、压缩感知和神经网络剪枝等任务都属于稀疏约束问题。稀疏约束问题的求解越来越受到学者的重视。本文的目的是寻找性能优良的解决稀疏约束问题的方法,重点研究以下三个具体问题:1.近年来,可学习迭代收缩阈值算法(Le
学位
随着人流量的不断增大,出行需求的不断加深,出于安全的考虑,安检X光危险物检测方法需要不断更新不断改进才能满足人民日益增长的出行需求和安全保障,但目前的安检工作还是主要依托于人工检测,以人为主,智能检测为辅,安检的效率和速率一定程度上取决于安检人员的精力和经验,这样很容易发生错检和误检,安全隐患很大。如何实现高效快速的自动化检测是本文研究的重点。本文探索了YOLOV4目标检测方法在安检X光危险物检测
学位
遥感目标检测技术旨在对遥感图像的目标实现定位和识别,在民用和军事等领域发挥着重要的作用。然而,实际场景下的遥感目标检测面临着诸多问题和挑战。比如,如何解决由于样本标记工作专业性强、成本高导致的标记样本缺失的问题;如何有效挖掘遥感图像中复杂场景下的目标特征,在不影响检测效率的情况下提高检测精度;如何更高效地训练检测器,让特征层提取出的特征更好地发挥作用。针对上述问题,本文深入分析了人脑高效认知目标的
学位
[目的]分析慢性鼻窦炎患者的变应原谱、血清总IgE和血清特异性IgE的特点,探讨变态反应在慢性鼻窦炎中的作用机制。[方法]收集2016年7月-2018年10月期间收入本院耳鼻咽喉头颈外科的变应原检测阳性的慢性鼻窦炎患者160例,根据《慢性鼻-鼻窦炎诊断和治疗指南(2012)》分为79例慢性鼻窦炎伴鼻息肉组(CRSwNP组)和81例慢性鼻窦炎不伴鼻息肉组(CRSsNP组),同期91例变应原检测阳性的
学位
高光谱图像相比于自然图像具有更加丰富的空间信息和光谱信息,能够用于对地物目标进行更准确的识别,近年来得到了越来越广泛的研究和应用。高光谱图像数据丰富,但是标记样本难以获取,因而应用更少的标记样本得到更高的分类精度是重要的研究方向。随着深度学习技术的发展,许多基于神经网络的高光谱图像分类方法取得了很好的分类效果。但是这些分类方法大多从邻域块内提取特征信息,忽视了地物目标在空间上更大区域内的匀质性。图
学位