论文部分内容阅读
高分辨率遥感图像因具备识别地物能力强的特点,广泛地应用于测绘、环境和生态等各个领域。随着高分辨率遥感图像数量的日益增多,从遥感数据集中快速有效地检索出感兴趣的图像或目标成为遥感图像领域的重要研究方向。高分辨率遥感图像内容复杂,细节信息丰富,提高其检索性能的关键是提取有效特征来准确表达图像的内容。卷积神经网络(Convolutional Neural Network,CNN)能够自动学习图像的特征,并适用于处理内容复杂的高分辨率遥感图像。但是由于目前公开的高分辨率遥感数据集规模偏小,并且难以设置准确的标签来描述图像的复杂内容,导致CNN的参数得不到充分训练,进而影响检索性能。本文结合CNN良好的迁移学习能力,研究将大规模数据集上预训练的CNN迁移到高分辨率遥感图像检索,并针对不同尺寸的输入图像,从特征融合、池化、编码、降维以及微调等多个方面来改进提取的迁移特征,从而提高图像的检索性能。主要研究工作如下:(1)研究从预训练的CNN中提取不同层次的迁移特征用于高分辨率遥感图像检索。将多种预训练的CNN的参数迁移到高分辨率遥感图像中,提取全连接层特征和卷积层特征用于图像检索。实验结果表明,与手工特征相比,迁移特征能够明显提高检索性能,并且全连接层特征的检索性能优于卷积层特征。(2)提出基于权重分配的特征融合方法来提高迁移特征的表达能力。单一特征难以全面描述高分辨率遥感图像的复杂内容,因此通过融合不同类型的特征来改进迁移特征的表达能力,包括不同迁移特征的融合以及迁移特征与手工特征的融合。实验结果表明,融合特征优于单一特征,并且手工特征的权重为0.2左右时,融合特征的检索结果能够得到极大的提高。(3)提出小区域池化和视觉词袋的方法对卷积层特征进行聚合。在最大池化和均值池化的基础上提出小区域池化的方法,该方法通过设置较小的池化区域,不需要图像的多次输入,就能够提取图像多个分块的特征来表达遥感图像的细节信息。实验结果表明,池化区域的尺寸对聚合特征有较大影响,大多数特征的较优池化区域尺寸为特征图尺寸的50%-80%;小区域池化方法比视觉词袋方法更适用于聚合卷积层特征。(4)提出一种基于池化区域的级联池化方法对卷积层特征进行聚合。该级联池化方法首先采用池化区域小于特征图区域的最大池化方法,提取图像的显著特征,并获得最大池化后的特征图;然后在最大池化特征图上进一步采用池化区域不大于特征图区域的均值池化方法,来公平地对待图像中的特征,避免丢失区分能力强的信息。另外,对CNN进行微调以提高特征表达能力。该级联池化方法只需要将图像输入一次就能获得多个分块的特征,并有效综合了最大池化和均值池化的优点,提取的特征适用于表达内容复杂的高分辨率遥感图像。(5)提出一种基于组合及池化的方法来融合不同CNN中的高层特征。组合及池化方法中,首先将高层特征作为特殊的卷积层特征处理,因此可以得到不同输入尺寸下的高层输出值,并保留其三维张量的输出形式;然后将不同的CNN的高层输出值组合成更大的特征图;最后在组合特征图的基础上,使用最大池化和均值池化的方法进行压缩。另外,进一步采用主成分分析(Principal Component Analysis,PCA)降维和微调的方法来提高融合特征的表达能力。实验表明,VGG16和GoogLeNet的高层特征融合后的检索准确率比使用单一特征的检索准确率分别提高了5.98%和8.79%。综上所述,本文针对全连接层特征和卷积层特征的特点,从特征融合(包括基于权重分配和组合及池化两种方式)、池化(包括小区域池化和级联池化)、视觉词袋编码、降维以及微调等多种方式对迁移特征进行改进,以充分挖掘CNN中隐含的更适用于表达高分辨率遥感图像的特征信息,从而提高遥感图像的检索性能。