城市遥感影像中包含丰富的人工地物信息,对城市进行合理规划、管理和分析等有着重要的作用。语义分割是计算机视觉中的一项基本任务,它对图像中的每个像素进行分类。随着深度学习的发展,以卷积神经网络为基础的语义分割网络,实现了机器自动识别遥感影像中人工地物的信息。编码器-解码器是目前主流的语义分割结构,编码器通过堆叠卷积和池化提取图像中高级的语义信息,解码器连接浅层的信息来得到更精准的结果。在解码器中,通常会使用双线性插值作为上采样手段来提升特征图分辨率,而双线性插值过于简单且与输入的数据无关,这可能会导致次优的结果。在现代城市中,建筑物有着丰富的种类,遥感影像中建筑物表现出尺寸缩放,旋转等几何变化。深度卷积神经网络想要适应这种变化需要成倍的增加参数量和计算量,以及需要更长的训练时间。本文主要对遥感影像多类别分割和建筑物提取进行研究,主要的创新点如下:（1）本文提出一种基于局部关系的上采样方法来替代双线性插值。通过计算高级特征中每个点与对应低级特征区域的局部相对相似值,并通过该值使输出值动态的介于高级特征值和低级特征值之间。基于该方法,本文设计了一个高效的局部关系解码器。在数据集Vaihingen中以Res Net101为编码器时,局部关系解码器在指标平均F1分数上获得2.69%的提升,并且有着更快的运行时间以及更少的参数量需求。（2）本文提出一种同类聚合卷积层来替代普通的卷积层。同类聚合卷积引入权重动态调节的机制,使得目标点能够更加关注周围与之同类的点,并且减少目标点周围不同类别的点的聚合权重。为了明确特征图中点的关系,本文使用邻近插值的方法来对标签降采样,然后提取其中所有目标点与采样点之间的关系作为新的标签来对概率图生成模块进行监督。在数据集WHU中以Res Net18为编码器时,同类聚合卷积层相比普通的卷积层在指标Io U上获得1.75%的提升,并且仅需要大约1%的额外计算量。