基于结构化卷积与图神经网络的高光谱图像分类

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:yqligjs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遥感高光谱图像是包含丰富的辐射、空间以及光谱信息的“图谱合一”立方体数据,是多种信息的综合载体。由于能够在像素级区分地物类型,高光谱技术已广泛应用于环境监测、地质勘探等领域。其中,精确分类高光谱图像中的每个像素是此类应用的基础。然而,受限于高昂的标注成本,高光谱图像分类任务中的监督样本通常较少;同时,受光照环境、混合像元、高维冗余信息等因素影响,高光谱数据存在明显的类间距离小、类内距离大的问题,严重限制了有限样本下高光谱图像的分类精度。为了充分利用高光谱图像的内在结构信息以进一步提升对地观测能力,本文以深度学习理论为基础,结合地物的结构先验知识,探索了一系列高光谱图像的深度结构化空谱建模与分类方法,主要包括以下五点:(1)针对由标注样本较少导致的网络难以训练及性能退化严重的问题,提出了一种用于小规模样本下高光谱图像分类的空谱卷积稠密网络方法。高光谱图像维度普遍较高而训练样本往往有限,深度神经网络通常难以高效地学习不同地物的空谱结构特征。所提方法通过将常规卷积分解为光谱一维卷积与空间二维卷积的方式解耦高光谱图像的“空谱”结构,在保持特征判别性的同时大幅度减少参数,有助于小样本下的网络训练。稠密连接的引入使得网络能够生成由浅入深的稠密分层特征,缓解梯度消失的同时实现特征复用。此外,不同于基于局部图像块的传统网络方法,该算法以大尺寸图像为输入,能够避免因小图像块切分导致的空间信息利用不足的问题,亦使之具备全像素并行分类能力,在提升分类精度的同时大幅缩减推理耗时。实验结果表明,该方法在小规模样本下具有良好的分类性能,同时其在线分类时间短,远小于同类方法。(2)针对由卷积核形状固定导致的高光谱图像中跨类别边缘区域存在较高分类误差的问题,提出了一种形状自适应卷积的高光谱图像深度分类方法。常规卷积网络中的卷积核由于缺乏形状自适性,导致难以建模不同地物的复杂结构,在分类地物边界区域时容易造成过平滑。所提方法通过利用子网络从高光谱图像中抽取地物的分布模式,刻画不同空间位置处的地物结构,并以此引导卷积核动态地改变形状,使其具有自动适配不同地物结构的能力,进而抑制跨类别边界的不规则性和不可预测性并提高跨类别区域的特征学习。实验结果表明,在跨类别边缘区域,所提出的内容引导卷积算法能够根据地物的空间结构自适应调整核形状,在卷积过程中自动适配不同地物的结构模式,具有优秀的细节保持分类能力。(3)针对卷积神经网络难以建模高光谱图像中不同地物间的依赖关系并导致其空间结构信息利用不充分的问题,提出了一种联合卷积神经网络与图神经网络的异构深度网络方法。卷积神经网络一般用于处理欧氏结构数据,而图神经网络则用于非欧结构数据的建模与特征学习,二者在数据结构上存在固有矛盾。所提方法通过建立图节点与图像像素间的映射关系,将卷积神经网络与图神经网络整合到同一网络框架中,能够同时利用卷积网络与图网络建模高光谱图像中不同地物的欧氏域以及非欧域空谱结构,并提取其像素级和超像素级互补特征。最后通过融合两种不同结构的特征,所提方法能够同时学习不同地物的长-短距离空间拓扑依赖关系,从而促进地物的结构表征与识别。实验结果表明,欧氏域像素级特征与非欧域超像素级特征具有良好的互补性,所提方法具有优异的分类精度和推理速度。(4)针对基于单一尺度超像素分割的图神经网络无法充分表征高光谱图像复杂空间拓扑结构的问题,提出了一种高光谱图像分层超像素结构化的图U-Net分类方法。为了降低图神经网络的计算量,高光谱图像通常被预处理为基于特定超像素分割的图,致使其空间拓扑结构的建模被限制在同一尺度,进而导致其空谱结构表征不充分。所提方法通过逐步合并相邻超像素来构建从细到粗的分层分割,然后将其转换为分层图,建立了高光谱图像在不同尺度上的拓扑结构。同时,基于分层超像素间的合并关系构建了池化和反池化函数,能够将特征在相邻层级的图之间互相传递,从而使得不同层级的图能够在单一网络框架中协同工作,在不同层级的图上学习不同尺度的互补特征。实验结果表明,通过由细到粗地提取分层多尺度特征再由粗到细地融合它们,所提方法能够获得相较于单一尺度的图网络更高的分类性能以及鲁棒性。(5)针对图神经网络难以应用于大尺寸高光谱图像的问题,提出了多尺度聚合图卷积的高光谱图像判别分类网络方法。为了捕捉不同地物间的长距离依赖关系,图神经网络通常工作在基于全图超像素分割的大图上。在面对大尺寸高光谱图像时,过大的图导致难以计算。所提方法通过在大图上采样待分类像素的相关节点和对应的边以将其分解为若干子图,进而能够以批次计算的方式处理任意规模的高光谱图像。为充分利用子图所涵盖的拓扑信息,提出的多尺度聚合图卷积算法能够在每一层变换中提取并融合子图的多尺度特征。此外,还提出了用于提升高光谱深度特征表达紧凑性的判别分类器,通过计算类级特征表达,显式度量类间及类内距离,能够引导网络学习更具鉴别性的样本特征嵌入。实验结果表明,所提方法具有优异的批次分类精度,同时,判别分类器亦能够促进特征的紧凑性表达并进一步提升分类性能。
其他文献
数字项目是数字政府建设的载体。当前,数字政府建设正向纵深推进,政府发起了包含城市大脑、政务服务平台在内的大量数字项目。政府往往缺乏项目建设所需的数字技术,通常需要与企业合作,因而项目合作伙伴选择成为影响数字政府建设绩效的关键命题。以往研究较少关注数字项目外包中的合作伙伴选择。在少数相关研究中,还未有研究分析政府数字项目类型、特征对合作伙伴选择的影响。本文致力于刻画当前政府数字项目的内涵与类型,并探
学位
频率上转换红外成像技术是一种通过将短波红外或中红外光转换为可见光或近红外光再进行探测的间接红外成像手段,相比传统红外探测技术具有探测器噪声低、像素更小、可在常温下工作等优势。周期极化非线性晶体和准相位匹配理论的出现突破了频率上转换成像中有效非线性系数受限的瓶颈,提高了系统的转换效率,使频率上转换成像技术得以进一步发展。本文通过结合频率上转换成像技术与单像素成像原理,围绕解决基于准相位匹配的频率上转
学位
智能车辆系统的探索与研究是人工智能和模式识别领域最受关注的热点之一。智能车辆通过多种不同类型的传感器数据对车辆周围环境进行感知,从而做出更加精确的评估和决策。相机、惯性测量单元(Inertial Measurement Unit,IMU)和激光雷达(Light Detection And Ranging,Li DAR)是最常用的三种车载传感器。相机提供具有丰富的颜色和纹理信息的图像数据,IMU通过
学位
频率选择吸波体(Frequency Selective Rasorber,FSR)是在结合传统频率选择表面(Frequency Selective Surface,FSS)和电磁吸波体的基础上,由相同结构单元排列而成的具有通带内传输和通带外吸收特性的周期阵列结构。作为一种具有空间透波/吸波作用的电磁功能材料,FSR在天线、雷达罩、隐身技术等通信安全和军事领域中具有广泛的应用前景。随着通信和雷达系统
学位
随着数码相机和互联网技术的普及,图像视频数据的获取变得越来越容易,以集合为单位的分类问题受到了研究者们的广泛关注。不同于传统的单幅图像识别问题,图像集数据可以提取出更加丰富的信息,有利于提升识别精度。然而,由于场景变化、视角不同、姿态多样、光照不可控等因素,每个图像集均包含了很大的变化,使得类内的差异性可能远远大于类间的差异性。同时,图像集数据位于高维空间,往往含有大量冗余特征,从而导致了高时间成
学位
2014年,基于层状钙钛矿太阳能电池被第一次报导且展现出优良的环境稳定性,此后的短短几年间,其能量转换效率从4.73%提高至19.3%。甲脒(formamidinium:FA)基层状钙钛矿被证明比甲铵(methylammonium:MA)基层状钙钛矿具有更低的带隙和更加优良的稳定性,因此FA基层状钙钛矿可能更适合作为太阳能电池的活性层。然而,随着层状钙钛矿中无机层数(n)的增加,其形成能也随之增大
学位
场景理解是计算机视觉领域的一个重要分支,旨在使计算机拥有像人类视觉系统一样理解场景的能力,是现代智能系统实现环境感知和视觉导航的基础。场景分割提供了对场景完整的细粒度理解,是实现场景理解的关键,目前在自动驾驶、智能机器人和增强现实等领域有着广泛的应用,因此具有重要的研究和应用价值。虽然基于2D图像的经典场景分割算法已在计算机视觉中取得令人瞩目的成就,然而现阶段场景分割研究仍然存在一些不足和挑战:一
学位
如今各行各业间的竞争都日益激烈,但是目前的经济发展却逐渐缓慢,我国生产制造型企业的利润也正在不断缩减。企业希望提高营业能力,占有更多的市场份额就需要降低企业经营成本,增加企业现金流。优化库存管理可以减少库存成本的开支,若是使用严谨的管理手段同时利用科学的优化方法,可以在降低库存成本的同时提高周转率,减少库存堆积所占用的企业现金流,将企业的经营成本最低化,有利于企业的发展和利润。HD公司作为一家生产
学位
生本理念旨在保证所有学生能够真正做学习的主人,它是一种坚持尊重学生、一切以学生为本的教育工作理念,能够在促进学生自主管理能力提升的前提下,进一步促进班级管理效率的提升。班级管理工作较为复杂和烦琐,作为一名小学班主任,在开展班级管理工作时需要转变传统单一化的方式,将生本理念融入班级管理之中,让学生真正体验合理化和公平化的班级管理模式,充分提高学生的综合素养,让学生能够在班级良好氛围下实现学习和发展目
期刊
面对高速飞行器越来越高的飞行要求以及飞行速度的可控可调,对发动机热防护的可靠性以及高效性提出了更高的要求,不仅要满足高效热防护需求还要满足动态换热以及节能高效的需求。面对极其复杂的动态极端热力环境,现有传统换热方式制约了冷却通道的传热效率的提高,限制了发动机效率的提升。本文以发动机热防护为背景,研究了单面受热情况下,矩形对流换热通道的内表面结构与通道构型对流动状态以及强化传热效果的影响机理,分析了
学位