基于生成模型和自注意力网络的高光谱影像分类研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:tb0401292
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在高光谱图像(Hyperspectral Image,HSI)的每个像素点上有数百个光谱波段,并由此形成了一个三维的图像立方体,其中每个光谱波段可以被视作一个二维的图像,因而组成的图像立方体包含有大量的信息。通过分析这些信息,每个像素点可以被预测为某一个类别,并且精准地预测出这些像素点的不同类别是可行的。随着分类技术的高速发展,高光谱分类成为了军事、农业和航空的基础。近些年来,某些高光谱图像分类算法可以达到99%的识别准确率,但这些结果是在有充分训练样本的情况下取得的。一方面,面对一个新的类别,当有标签数据不充足时,几乎所有的深度学习方法在性能上都有很大幅度的减少;另一方面,手动标记数据是耗时的和昂贵的,而在某些情况下需要尽可能快地训练出一个识别率较高的网络。学会如何在只有少量标记样本作为训练集的情况下获取好的结果引起了越来越多的关注。本文分析了小样本问题难点和高光谱图像的特性,结合Transformer网络、生成对抗网络、自监督学习等机制提出了三种有效的高光谱小样本分类算法。本文的研究内容可以概括如下:(1)提出Transformer结合生成对抗网络的高光谱图像分类模型。针对小样本情况下缺乏训练数据的问题,采用了生成对抗网络扩充数据集。判别器由双通道特征抽取层和Transformer编码器组成,双通道特征抽取层分别采用2D-CNN和3D-CNN学习光谱特征和空谱特征,获取的特征再经由Transformer组成的ViT框架的分类网络进行分类。在生成器部分,为了提高生成样本的质量,将具有双向注意力机制的Transformer融入其中,使得生成器具有了较强的样本生成能力。而较强的生成样本也进一步加强了判别器的分类能力。通过在三个高光谱数据集上进行实验,证明了本章方法相比于其他先进的算法更具优越性。(2)针对高光谱小样本分类问题中难以学到有效特征的问题,对于光谱特征和空谱特征两种不同的特征类型分别采用了两种不同的Transformer变体。其中光谱通道采用了卷积Transformer,这解决了光谱波段序列过长导致计算复杂度高、特征获取难的问题。卷积Transformer同时具有卷积核的共享权重、空间子采样、局部感知野的优点和Transformer网络的动态注意力机制、更好的泛化能力和全局上下文环境融合的优点。空谱通道采用了具有长短注意力机制的Transformer结构,从而能同时捕捉到大尺度和小尺度的特征,相比于其他方法能捕捉到更丰富的特征。通过在三个高光谱数据集上进行实验,证明了本章方法相比于其他先进的算法更具优越性。(3)提出了基于Transformer模型的自监督学习方法。首先使用BYOL对比学习方法进行无监督学习以获得较强的特征提取器,并将其中的编码器设置为Transformer网络。针对于高光谱数据的特征,Transformer结构采用了基于光谱的多头注意力机制。在将输入的图片进行了两种不同的增强后分别输入BYOL框架的在线网络和目标网络。针对小样本问题里可训练样本不足的问题,对于每一张图片进行多次不同的增强并输入网络进行训练,从而以一种契合于BYOL框架的方式解决了这一问题,并有效提高了模型的分类能力。无监督训练完成后,从BYOL框架里提取出Transformer编码器作为特征提取器已具备高效的特征提取能力。从编码器里提取出的特征通过SVM进行分类即可获得较好的分类结果。这种方法使得最后的分类器仅由Transformer和SVM组成,探索出Transformer作为分类器在高光谱小样本分类问题的潜力。通过在三个高光谱数据集上进行实验,证明了本章方法相比于其他先进的算法更具优越性。
其他文献
监控视频中异常事件检测旨在识别真实监控视频中出现的各种异常事件,并及时做出相应的处理,进而更好地维护社会公共安全。近年来,基于深度学习的监控视频中异常事件检测算法在提升模型检测性能上取得了较好的进展,但仍然存在监控视频中的时空冗余信息影响异常事件检测精度、正常事件和异常事件判别界限不清晰等问题。因此,监控视频中异常事件检测仍然是一项具有挑战性的课题。鉴于此,本文提出了基于记忆引导注意力的无监督异常
学位
作为对地观测技术的重要组成部分,遥感图像分类已被广泛应用于国防和民生经济等领域。传统的图像分类算法难以准确描述高分辨遥感图像丰富的空间细节和语义信息,分类精度不高,难以满足下游任务中信息分析和情报提取的需求。近年来,以卷积神经网络为代表的深度学习技术,凭借其优秀的表征学习能力,为遥感图像分类任务带来了性能上的巨大提升;但在资源受限的终端,卷积神经网络的庞大参数和计算量为模型高效实时部署带来了巨大挑
学位
互联网技术的高速发展将我们带入了一个全新的信息时代,信息化的时代里信息具有巨大的经济价值和战略价值,因此对于信息的保护变得至关重要。在诸如工业信息系统这样由信息驱动的系统中,任何机密的信息都不应该被不具备相应权限的用户(称入侵者)获得。非干涉性概念的提出就是为了避免系统内产生任何的信息泄露,防止入侵者获取系统内的机密信息。现有对非干涉性的研究还存在着一些局限性:一是大多数研究基于普通Petri网开
学位
以学术时评的形式,围绕2022年卡塔尔世界杯的办赛特征和重要方面,把握世界足坛新格局新变化,触动体育学术研究与实践思路。透视卡塔尔世界杯吉祥物、开幕式、主题曲的文化传播特征,理解办赛文化的全球本土化模式,以全球化的表达方式,诉说本土化的文化主张。洞悉计算机技术辅助比赛判罚全覆盖,批判性思考人工智能应用的伦理风险。世界足坛新格局呈现兼收并蓄的历史性过程,未来强队将是技术足球、整体足球、科技足球的完美
期刊
近年来,国际足联腐败问题严重,引起各方重视。美国与瑞士采取联合行动抓捕多名国际足联官员,将国家司法介入国际足联腐败问题的议题推向高潮。肯·本辛格所著《红牌:美国如何成为世界上最大体育丑闻的吹哨人》一书详细披露了美国调查国际足联腐败案件的实践过程,并做了深入的理论分析。通过对该书的述评,着重探究司法介入国际足联腐败案的背景、贡献与走向。美国依据法律从最初的调查过程到委托瑞士警方抓捕、引渡至美国并最终
期刊
典型地海背景红外辐射传输特性的深入研究,对我国的军用、民用、遥感探测等领域均有着巨大的实用性和理论意义。军事方面,针对各种典型地表和海洋的红外辐射特性的探索,有助于提高探测器或武器在不同环境下适应度和目标甄别速度。从而快速和精准地进行对象识别与跟踪打击。在遥感领域,通过对比不同地表的红外辐射特性,可以提高检测效率、精准度,科学高效地预警灾害发生,保护人民财产安全并减少经济损失。在民用方面,通过实施
学位
经典数字图像处理技术已经在日常生活中发挥了重要作用,例如商品识别、自助付款、车辆识别、刷脸解锁、刷脸支付和自动驾驶。然而图像数量的增长以及分辨率的提高给经典数字图像处理技术的存储和计算带来了严峻挑战。量子图像处理技术结合了量子计算与经典数字图像处理技术,利用量子叠加和量子纠缠等性质改善经典数字图像处理技术的计算效率和存储能力。按照图像初级处理到图像高级处理的顺序,本文依次研究了量子图像空间域滤波算
学位
高架道路作为城市交通走廊具有十分重要的骨干作用,高架道路的交通异常和交通事故往往会诱增道路服务水平的恶化。对于高架道路异常以及事故风险等问题,以往的研究一般都是基于静态交通事故数据的统计分析,然而其在交通异常和交通事故实时检测的实时性相对较差,而且在道路交通事故风险评估上往往还需要更多的数据支撑。本文首先通过研究高架道路的交通异常、交通事故和交通状态的特征,然后提出了一系列深度学习的解决方法来实现
学位
相较于全监督语义分割,弱监督语义分割能仅利用图像级别的类别标注来预测图像中像素的类别,节省了大量的人力和时间的开销。目前的弱监督语义分割算法主要是一个三个步骤的过程,首先利用图像级标签训练一个分类网络、之后通过解析该分类网络的内部参数来生成伪标签、最后用利用伪标签训练一个端到端的语义分割网络。然而目前的算法还与全监督的语义分割算法之间有着较大的差异,导致这种差异的主要原因来自于三个方面:伪标签缺失
学位
代码克隆(Code Cloning)指的是字面或功能上相同的代码片段。由于很多客观的原因,诸如开发任务紧,开发人员水平有限等原因,软件项目开发人员经常通过复制粘贴代码片段来完成任务,在软件项目中产生大量的代码克隆。然而,代码克隆往往导致软件系统维护问题,诸如一处代码功能改变,但克隆的代码没有相应被修改,导致原来一致的代码功能不能一致。因此,如何自动、准确定位功能相似的软件代码成为软件分析任务中的一
学位