高分辨率遥感图像通常包含复杂的语义信息,易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。本文基于DeepLab V3+和Deep U-Net两种分割网络结构,结合树形神经网络结构模块,设计一种针对高分辨率遥感图像的语义分割网络。提出的网络结构不仅对原网络模型做出了修改,使其适用于多尺度、多模态的数据,并在之后添加和连接树形神经网络结构模块。树形结构是通过建立混淆矩阵、提取混淆图、图分割构建出来的,能够对易混淆的像素进行更好地区分,得到更准确的分割结果。本文在ISPRS委员会提供的两个不同城市的遥感影像集分别进行了实验,实验结果表明我们所提出的结合分割模块和树形模块的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率提高显著。实验结果表明,在包含复杂语义信息的高分辨率遥感图像中,得益于易混淆类别的像素的错误减少,使用了树形结构的本文网络模型的整体分割准确率也有较大提升。本文的提出的方法具有一定的通用性,具有广泛的应用场景。