遥感图像语义分割是遥感图像处理领域的重点研究问题之一,其主要内涵是在遥感图像分割过程中引入图像的高层语义信息,为遥感影像中的每个像素分配一个特定的语义标签,从而准确地标记出遥感图像中每个像素的类别。高分辨率遥感图像记录了地物目标详细的形状、几何结构、纹理等特征信息,广泛应用于遥感的各个领域,例如,土地利用、海陆分割等。随着遥感图像从低分辨率向高分辨率的发展,高分辨率遥感图像在提供高质量信息的同时,其类内差异大、光谱信息相对欠缺的特点也为高效、准确地进行遥感图像语义分割提出了新的挑战。虽然基于深度学习的方法极大地提高了高分辨率遥感图像语义分割的性能,但仍存在一些问题:(1)高分辨率遥感图像的数据源多样,单一数据源分割精度较低以及双源数据利用率低下;(2)遥感图像中存在个别目标尺度较小和纹理细节难以分辨的现象造成了遥感图像语义分割的模糊性;并且附加的细节信息给分类学习过程带来了可观的干扰,从而降低了分割的准确性并导致模糊的对象边界。因此,为了更好地利用高分辨率遥感图像的数据信息,解决遥感图像小尺度目标分割问题并提高目标边界的定位能力,本文提出了两种双源遥感图像语义分割方法,两种方法介绍如下:(1)针对遥感图像数据的多源性,考虑高分辨率遥感图像不同源数据所包含的不同特征信息,为提高双源遥感图像数据的利用率,实现不同源数据之间的联合使用,提出基于U-Net的双源遥感图像语义分割方法DU-Net。首先,本文考虑到编码器-解码器模型以及残差结构在图像语义分割中的优势,提出基于残差结构的RU-Net模型,作为后续工作的基础模型;其次,在模型的编码器阶段引入遥感图像DSM数据处理分支,联合应用光学遥感图像和其对应的数字表面模型高程数据DSM,建立双源遥感图像语义分割模型DU-Net。该模型主要是将光学遥感图像和其对应的高程数据的各个中间层特征进行对应融合,得到区分性更强的双源融合特征,然后将得到的融合特征逐步上采样,与浅层特征结合,有效地完成双源图像数据的处理,达到进一步提高语义分割精度的目的。其次,使用迁移学习的方式,以Res Net101作为预训练模型,用于初始化网络模型参数。最后,在ISPRS提供的两组数据集上设计多组对比实验,验证本文提出方法的有效性。(2)针对遥感图像语义分割中,小尺度目标分割问题以及附加细节信息带来的模糊对象边界问题,本文在DU-Net网络模型的基础上,建立基于注意力机制和RUNet的双源遥感图像语义分割模型ADU-Net,充分考虑像素之间的通道关系。首先,设计基于通道注意力机制的空间金字塔池化模块,提取不同尺度上的上下文信息,为模型增加多尺度特征,同时将该模块应用到模型的各个层次中,提取图像的多层次特征;其次,设计注意力精细化模块,收集多余的通道信息,该模块综合利用了网络浅层的空间细节信息和高层的语义信息,达到精细化遥感图像语义分割对象边界的目的。最后,在ISPRS数据集上设计对比实验,验证本文所提出方法的有效性。