论文部分内容阅读
随着现代遥感技术日益完善,如何从海量的遥感影像中提取出对人类有价值的信息成为遥感领域的重要研究内容。现阶段对高分辨遥感场景的解译多集中于面向对象的分类,但其分类结果与高层场景语义信息之间仍存在“语义鸿沟”。因此,从不同层次、不同角度对高分辨率遥感影像进行智能化解译已成为遥感领域最具挑战性的科学前沿,具有重要的科学意义。此外,遥感影像内容理解与描述可为遥感应用提供决策级支持,具有广泛的实际应用价值。本论文充分挖掘高分辨率遥感影像空间、场景空间、语义空间的结构特性,结合自然语言处理技术,实现高分辨率遥感影像内容的理解与描述。本论文研究内容如下:(1)提出了基于快速区域卷积神经网络的遥感语义描述方法,构建快速区域卷积神经网络,用于高分辨遥感影像的视觉特征提取,构建双向递归神经网络实现文本特征提取,将图像特征和文本特征统一到相同的维度空间进行相似对对比,通过长短时记忆模型实现对高分辨遥感影像的描述。实验表明,该方法充分考虑了高分辨遥感影像地物信息信息丰富,场景复杂多样特点,结合目标检测方法提取有效的视觉特征,进而生成准确多样的文本语义描述。(2)提出了基于局部响应的卷积递归神经网络的遥感语义描述,引入了“视觉注意机制”,在生成文本描述的时候,不仅考虑目标检测问题,而且同时考虑了目标之间的关系,隐式的存储了长期和短期的视觉信息以及文本信息,优化网络结构,完成端对端的训练。实验表明,该方法更加充分的考虑视觉信息中目标的位置相关性,记忆文本上下文相关性,进而生成更加准确丰富的文本语义描述。(3)提出了基于语义嵌入生成对抗网络的遥感语义描述方法,构建面向遥感影像目标检测任务的区域卷积神经网络,构建基于长短时记忆网络的遥感文本分析模型;针对遥感场景中的各目标以及相关位置关系,建立深度卷积生成网络建模,分析视觉信息与文本信息的相关性,进而生成文本句子,实现对高分辨率遥感场景内容理解与描述。实验表明,该方法充分考虑了高分辨遥感影像尺度变化大、样本数量少的特点,挖掘影像中的视觉信息,生成准确丰富的文本语义描述。