论文部分内容阅读
近年来,随着人工智能、深度学习技术的不断发展,基于深度学习图像语义分割已经成为了遥感图像进行信息提取的一个重要手段。虽然基于深度学习语义分割的遥感信息提取方法取得了一定的成功,但是,由于深度学习网络模型通过卷积感受域和池化层来感受上下信息,在深度全卷积神经元网络中,真实感受野远小于理论上的感受野。这使得许多网络无法充分融入重要的全局上下文信息,降低了模型对场景的感知能力,削弱对场景中对象分类的一致性。另外,深度全卷积神经元网络是利用池化层进行下采样,允许网络看到更大的上下文信息,但这造成了大量的高频细节信息的丢失,这使得深度全卷积神经元网络语义分割的提取的信息边界模糊。为解决下采样造成的位置信息的丢失和高频细节的丢失,一些学者通过使用扩张卷积替代池化实现扩大感受域,增加上下文信息,但是这种方法无法克服“格网效应”(特征信息不连续)的问题。另外一些学者则使用跳跃连接来缓解由于下采样和随后的上采样导致的边界模糊。虽然跳跃连接可以在上采样后重新引入高频细节,但这也会将大量冗余信息引入网络中并导致过度分割的问题。另外,俯视的遥感图像中不同的物体具有相似的光谱外观,相对于其他视角的图像,遥感图像上的对象更加难以区分,这也增加了遥感图像信息提取的难度。多模态数据融合是解决这一问题的有效手段。在多模态数据融合的遥感信息提取中通过简单堆叠图像合成的方法和决策融合在实践中表现不好,而基于特征融合的方法单独交替训练多支模型存在计算量大,训练周期长,而端对端的模型在纵向上无法进行信息的传递,在横向上特征无法进一步深度融合的问题。本研究针对深度学习图像语义分割模型存在的问题,利用注意力机制可以帮助人类从海量的信息中筛选出有效的信息,并抑制背景和无效信息的特性。将注意力机制与深度学习模型相结合,使用注意力机制能够帮助深度学习模型更好的理解外部信息,解决当前深度学习图像语义分割模型中存在的重要全局上下文信息丢失、过分割以及多模态数据特征难以深度融合的问题。具体研究主要包括了以下几方面:(1)利用全局注意力机制从全局信息中获得有效信息特性。将全局注意力机制与深度学习图像语义分割模型相结合,设计一种具有全局上下文感知能力的深度学习语义分割模型,用来弥补深度卷积神经元网络中真实感受野远小于理论上的感受野而导致的许多深度学习网络无法充分融入重要的全局上下文信息,而降低模型对场景的感知能力,削弱对场景中对象分类的一致性的问题。进而提高基于深度学习语义分割模型的土地覆盖分类精度。(2)针对深度学习的语义分割使用跳跃连接进行高频细节特征恢复造成低水平特征的过度使用,而降低高层次特征的分类信息的问题。本文将空间注意力机制引入到深度学习语义分割模型的上采样过程中指导高层次特征恢复有效的细节信息,压缩背景和噪声信息,进而改善过分割的问题,提高高分辨率遥感图像信息提取的精度和完整性。(3)针对在进行多态数据融合时在纵向上无法进行信息的传递,在横向上特征无法进一步深度融合的问题。本文结合人的视觉在处理外部信息时人眼视觉首先对外界信息并行的感知多种初级特征,然后对前注意阶段感知的各种特征进行整合、形成语义目标特征,从而实现对语义目标的综合判别的过程。本文研究一种具有前注意和特征整合的深度学习网络,模拟人眼处理外界信息的方式进多模态数据特征的提取与融合,实现一种多模态数据特征的有效深度融合的方法。