基于Transformer模型的小样本高光谱图像分类

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yangl3255
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高光谱遥感技术发展至今,已经成为了农业、军事、工业生产等多个领域中不可或缺的一项重要技术。对高光谱图像中的像素进行分类是高光谱遥感数据在实际应用中最为广泛的需求。以深度学习为代表的高光谱图像分类方法被大量提出,基于充足的标注数据,这些方法在分类性能上取得了显著的成效。然而,目前高光谱图像处理面临的主要问题是难以获得大量精准标注的样本来充分训练深度网络,数据问题已经成为限制分类性能的瓶颈。同时,高光谱图图像复杂的背景信息也给深度模型带来的严重的干扰,导致像素被错分、误分。如何在少量标注样本条件下得到准确的分类性能是目前研究的重要方向。本文针对业内难点问题,分析了高光谱图像自身特性和分类难点,结合Transformer网络模型、半监督学习、元学习、多注意力机制等,提出了三种有效的高光谱图像分类方法。本文的研究内容可以概括如下:(1)提出多支路注意力机制Transformer网络的高光谱图像分类模型。首先针对高光谱图图像中大量的光谱冗余信息,设计了光谱特征提取模型来充分的压缩光谱维度并提取光谱特征。然后,设计了空间注意力网络,对有效的空间特征进行增强并抑制无效的特征信息,同时使用Transformer Encoder网络来获取图像的全局注意力并进行分类。最后,一个掩码反馈分支被用来引导网络的注意力集中于目标像素,提高模型对于真实目标像素特征的拟合能力。实验证明,对于复杂背景下的高光谱像素块,本方法有明显的改善效果。(2)提出基于CNN-Transformer网络的半监督高光谱图像分类方法。进一步探索复杂背景中高光谱像素块特征精确提取的方法。首先设计了融合局部特征和全局特征的CNN-Transformer双路网络,有效改善难分样例容易被错分的问题。然后针对少量的标注数据条件下网络训练难的问题,结合半监督训练方式,使用大量无标注数据进行辅助训练,利用一致性原则和伪标签技术,设计了可以自主训练的半监督分类模型,利用多种训练损失综合来更新网路参数。在多个数据集上的对比实验和消融实验,说明了本方法的有效性,相比于有标签数据的监督学习,本方法在分类准确率上提升了超过一个百分点。(3)提出基于Transformer模型的元学习高光谱图像小样本分类方法。针对复杂背景问题中的像素分类提出了新的解决方法。首先,引入可变形卷积和Transformer模型相结合的方法,使模型的注意力集中于真实的目标分布区域,从而提高模型对真实目标特征的提取能力。其次,考虑到在样本数量极少的条件下,监督学习和半监督学习都无法发挥作用,引入了元学习的方法,通过基类任务的训练,使模型在新任务上能够依赖少量数据进行准确的学习。本方法在三个数据集上都达到了超过90%的准确率,实验结果证明了,本方法在有限样本数量的分类上,具有实际的优势和应用价值。
其他文献
随着日本国内人工成本的不断上涨,大部分日本IT企业都开始了信息系统开发业务的海外外包,其中,因人工成本相对偏低且同样是汉字文化圈的中国逐渐成为了主要海外外包对象国。在强烈的外包业务需求下,作为委托方和承包方进行沟通交流的主要媒介的信息系统开发相关文档的翻译需求也不断扩大。本翻译实践报告是根据笔者进行日本信息技术企业的信息系统开发相关文档的日译汉翻译的基础之上撰写而成的。翻译内容是从信息系统开发到正
学位
近年来,由于对自动驾驶和视觉监控的需求,多传感器融合使用受到了很大关注。除了传统的RGB之外,红外传感器以及一些激光雷达等深度传感器也被广泛使用,准确的深度图的采集对于自动驾驶至关重要。目前的深度获取方法多种多样,其中一种方法是使用双目立体匹配预测视差,视差可以通过焦距转换为深度,这样的深度图可以大致得到场景的三维信息,但其精度存在误差。另一种方法是直接使用Li DAR相机捕获精度高但由于扫描通道
学位
随着科学技术和电器产业的迅猛发展,新的科技发明层出不穷,各国之间的相互交流也日益频繁。因此,科技专利的翻译是引进和借鉴国外先进技术的主要内容和重要手段。本稿是一篇关于《流量测量装置》电器专利发明的日汉翻译报告,主要包括翻译项目的介绍,翻译过程,实例分析,总结四个部分。第一部分对该翻译项目的简单介绍,第二部分为翻译过程中所进行的工作,包括专利翻译时的注意事项和背景知识、理论框架、翻译过程、翻译后的工
学位
稀疏问题是在现实生活应用十分广泛的一类问题,已经有很多解决各种实际应用问题中稀疏问题的传统优化算法以及深度网络的方法,例如,图像去噪、图像修复、图像超分辨等等。传统优化算法具有高度可解释性但低性能的特点,而一般的深度网络方法具有高性能但其可解释性却较为缺乏。近年来,深度展开网络由于能够有效结合传统优化以及深度网络的优点,逐渐成为关注度高的一类方法。在传统优化启发下,本文主要从以下三个方面对求解稀疏
学位
为适应伴随科技进步而日趋复杂的电磁环境,无线通信系统在朝着多频段、多功能的方向发展。人工电磁材料通常被应用在无线通信系统中,为了满足无线通信系统的需求,其正朝着在一种单元结构中集成多种功能的方向发展,其中最受关注的两个方向是可重构和多频人工电磁材料的研究。可重构人工电磁材料可以将多种功能集成在一种单元中,在不同的状态实现不同的功能,但目前仍存在偏置电路设计复杂、工作带宽窄和调谐带宽窄等问题。频率选
学位
飞机目标检测是遥感图像解译的一个重要分支,飞机在交通运输领域以及军事作战领域都有重要的应用,对其准确的位置与不同型号实现快速、高效的检测与识别具有重要的意义。本文针对高分辨光学遥感图像飞机检测任务中的复杂场景以及细粒度识别中的长尾问题和噪声标签问题,以自然图像经典单阶段目标检测算法做为基础,出了基于深度神经网络的光学遥感图像飞机目标检测与细粒度识别方法;并结合遥感图像解译的应用场景,针对性地升遥感
学位
电磁超表面是一种能对电磁波幅度、相位、极化等特性进行自由调控的新型人工电磁材料,被广泛应用在民用无线通信和军事领域中。在过去的几十年间,电磁超表面取得了巨大的发展,高性能、小型化超表面不断被发掘和更新,但随着多功能、智能化设备的发展,单一功能、无法动态调控以及窄频带特性是目前电磁超表面设计面临的主要问题之一,这极大地限制了电磁超表面在天线隐身设计、天线波束调控等方面的应用。因此,本文以基于可重构技
学位
遥感影像的解译研究一直都是卫星应用领域的重要课题。深度学习及深度卷积网络在计算机视觉领域取得巨大进展的同时,也为遥感影像的分类与识别提供了新的思路与方法。然而,神经网络由数据驱动,需要从大量样本中学习相应特征,因此,样本集的优劣很大程度上决定了神经网络的性能。然而,对于遥感数据来说,其可用于训练的样本数量很少,虽然有前期的积累,但现存遥感数据集丰富性和多样性都不够充分,一定程度上限制了现有算法在遥
学位
随着电磁技术的发展,高频电磁仿真已经越来越广泛的应用在各个领域。对于物体电磁散射特性的分析已经成为了计算电磁学的重要研究方向之一。随着电磁波频率升高,物体电尺寸变大,使用传统的全波算法进行计算时,会占用大量的内存和计算时间。高频渐进方法的出现,使得快速预估目标的散射特性成为可能。因此,如何利用高频近似方法快速预估复杂目标的电磁散射特性成为了当前研究的热点问题之一。本文采用物理光学法对电磁目标的散射
学位
目标检测作为计算机视觉最基本的问题之一,是其它复杂视觉任务的基础。近年来,深度学习技术和硬件资源的快速发展推动了目标检测技术的发展和检测精度的大幅提升。但在实际应用中,深度网络模型几十甚至上百层的网络结构,包含了大量的参数和浮点计算量,需要极大的存储空间和运行空间,往往难以部署在资源有限的设备上进行实时检测。为了将目标检测模型能从服务器迁移到移动端投入使用,需要将模型进行轻量化处理,本文进行了如下
学位