随着成像光谱仪技术的发展,高光谱遥感图像的获取变得越来越容易。高光谱遥感图像分类问题是当前高光谱遥感技术的一个研究热点。与多光谱图像相比,高光谱图像具有丰富的光谱信息,丰富的光谱信息为分类任务提供了巨大的帮助。近年来,深度学习在图像处理方面取得了很大的成就,并在高光谱遥感图像分类中得到了应用。本文针对高光谱遥感图像地物分类中存在的问题,对深度学习在高光谱遥感图像地物分类中的应用进行了深入研究,主要工作如下:首先,针对高光谱遥感图像波段数目较多,波段之间相关性较强,存在冗余的情况,对高光谱遥感图像数据集Indian Pines和Pavia University进行了数据预处理。在预处理过程中,使用主成分分析法对遥感数据降至B维,保留了数据中对分类影响较大的成分,消除冗余信息,简化了计算过程,并且节约了计算资源。其次,通过增加卷积层和池化层来加深网络的深度,构建了两个三维卷积神经网络Hierarchy1和Hierarchy2。这两个网络将图像的空间特征和光谱特征相结合,从而尽可能地减少仅仅使用单一的空间特征或光谱特征对于分类精度造成的影响。为了更好地利用空间信息,以待分类像素为中心,利用零填充方式,划分出邻域大小为S*S*B的数据立方体作为网络的输入,利用softmax进行分类后,选择出分类结果最好的S值。第三,针对现有网络对于空间上相邻两类地物边缘部分容易错分的情况,构建了一个基于多尺度融合的深度卷积神经网络MS-3DNet（Multi-Scale 3D-2D Deep Convolutional Neural Network）,该网络将Hybrid SN（Hybrid Spectral Convolutional Neural Network）、Hierarchy1和Hierarchy2网络中的分类结果进行了决策级融合。实验结果表明,MS-3DNet网络的分类结果,相对于这三个网络的分类精度均有明显提升,并且空间上相邻两类地物边缘部分容易错分的情况得到了明显的改善。最后,鉴于高光谱遥感图像数据标记困难,标记的成本较高的问题,验证了MS-3DNet网络在小样本数据集上的分类效果。采用不同大小的数据集做训练,实验结果表明,本文提出的MS-3DNet网络在小样本标注的数据集上,在保证总体分类精度的前提下,极大地缩短了训练时间。