随着我国空间基础设施的持续推进和不断完善,在轨遥感卫星种类日趋丰富,大量多平台与多模态遥感数据得以被获取。利用高光谱数据对目标识别分类等相关研究目前已成功应用于农业监测、灾害预警以及城市规划等领域,但是如果只利用单源数据,则应用研究可能会受限于单源数据的成像特性。因此,本文设计了一种基于端到端深度学习的多源遥感图像融合框架和一种基于深度学习的多源遥感图像分类模型。多源遥感数据融合框架和多源遥感图像协同分类模型均基于端到端思想,但二者在设计上存在区别:除去编解码器卷积层深度的差异外,多源遥感协同分类模型利用端到端模型建立多源数据之间的映射关系,获取多源数据联合表征,为后续分类提供保障;而多源遥感图像融合框架在端到端模型基础上新增密集块和融合模块,目的是有效挖掘利用多源数据深层信息,最终由解码器重构融合特征输出预期融合图像。本文主要研究内容如下所示:1.基于高光谱图像光谱特征分析,使得很多不易侦测的物质,在高光谱图像中都能被识别。但是,在卫星成像条件限制下,空间分辨率的提高会伴随光谱分辨率下降。目前尚无技术可直接获取同时具备高空间、高谱间分辨率的遥感数据。而且高光谱图像的维度高,标签样本采集困难,融合配对数据较少等原因,基于高光谱遥感图像融合算法的研究相对较少,现有算法的融合质量难以保障。因此,为了获取集高空间和高谱间分辨率特性于一体的遥感图像,本文基于深度学习理论,设计了多源遥感数据融合框架,可融合处理高谱间分辨率图像与高空间分辨率图像。融合结果既能维持原始数据的波段形态与光谱物理特点,同时提升了图像的空间解析特性。基于上述分析,本文采用基于端到端的编码解码网络来实现多源数据融合。编码网络提取原始数据的深度特征,并通过密集块进行特征映射,级联的层间处理方式可以有效利用中间过程信息。融合特征图经由融合层融合,最后融合特征通过解码网络得到融合结果。2.针对多源遥感图像分类,传统分类算法在分类过程中存在对多源数据利用率低,特征提取单一,容易破坏特征空间结构等问题。本文以深度学习为主要技术手段,根据全色图像和多光谱图像,设计了基于I-To-I CNN(Image-To-Image Convolutional Neural Network)多源遥感协同分类模型。该模型基于端对端网络思想,通过建立多源数据之间的映射,深入挖掘多源数据内部关联信息,最终实现分类。该模型利用端到端网络对多光谱和全色图像实施联合特征提取,将I-To-I CNN提取的联合特征进行拼接,最后通过分类器分类,实现特征利用最优化。通过挖掘和融合深层多源数据特征,既保留“图谱合一”的多光谱数据特点,同时做到对多源数据特征的融合提取。实验结果显示,该方法在完成多源数据“端到端”特征融合基础上,实现分类精度的有效提升。