结构化三维场景的语义分割是多种计算机视觉任务的基础,在场景分析、人机交互、增强现实、自动驾驶等领域具有重要意义。近年来,虽然基于深度学习的结构化三维场景语义分割的性能有所提升,但是在预测精度、计算复杂度、标签依赖性等方面还存在许多问题。本文分别基于双目相机采集的三维场景数据,和激光雷达、Kinect等传感器采集的三维点云数据,展开了面向结构化三维场景的语义分割算法的研究。基于双目相机系统,本文利用颜色、纹理、几何和视差信息,提出了一个鲁棒的路沿描述子来刻画路沿区域特征,从而提升路沿分割的精确度,并进一步提出了基于路沿分割的道路和人行道分割模型。基于激光雷达、Kinect等传感器采集到的三维点云数据,本文引入深度学习技术,进一步提升结构化三维场景语义分割精度。针对三维点云语义标注代价高昂的问题,本文提出了结构化场景三维点云的半监督语义分割模型。此外,针对实际应用中分割模型泛化能力差的问题,本文进一步提出了基于三维点云的无监督跨域自适应语义分割模型。本文的主要研究内容包括:（1）针对结构化道路场景中的小目标——路沿的分割问题,本文提出了基于双目相机的路沿分割方法,并基于路沿分割进一步提出了道路和人行道分割方法。通过融合颜色、纹理、几何、视差多种信息,本文提出了一个具有判别力的路沿描述子,帮助模型更好地完成路沿的分割。在路沿分割的基础上,本文构建了代价图,并基于代价图寻找由道路消失点到图像底端的最短路径,利用路沿信息增强对道路边缘的检测从而提升道路区域的分割结果。基于道路区域的分割结果和三维场景的几何特征,通过筛选人行道区域的种子点,并利用区域增广策略,本文实现对人行道区域的分割。实验表明,本文提出的方法在路沿、道路和人行道区域的分割上均取得了良好的分割结果。（2）针对三维点云中大范围上下文信息的传播问题,本文通过引入non-local思想来增强对三维点云中上下文信息的收集,并提升分割模型对点云语义的判断。然而,直接在点云上应用non-local策略往往会因为点云数据过大而造成网络计算复杂度和空间占用的大幅提升。为了解决这一问题,本文提出并构建了堆叠式non-local网络PointNL,通过层级化的non-local结构实现点云中上下文信息的渐进式传播,在提升语义分割性能的同时大大降低网络的计算复杂度。（3）三维场景的语义标注需要大量的人力和物力。针对这一问题,本文提出了结构化三维场景的半监督语义分割框架SSPC-Net。SSPC-Net首先利用无监督超点划分方法,将三维点云划分为多个不重叠超点,并将三维点的语义标签扩展至超点级语义标签。然后基于超点构建超点图,并建立图神经网络进行超点的特征表示学习。为了更好地传播有限的语义标签信息,本文提出了动态标签传播方法并结合超点修剪策略生成高质量的超点语义伪标签。此外,为了充分利用有限的监督信号和伪标签信息,本文进一步提出了耦合式注意力机制策略来提升标签信息的传播和对无监督超点特征的学习。在多个结构化室内及室外道路场景三维数据集上的实验表明,该方法仅利用少量的三维点语义标签就取得了良好的语义分割结果,甚至超越了部分全监督语义分割方法的性能。（4）针对语义分割模型泛化能力差的问题,本文进一步提出了面向结构化三维场景的无监督跨域自适应语义分割框架PCSeg-UDA。为了解决域间点云几何特征分布的差异性,提升网络从源域到目标域的泛化能力,该方法在目标域上动态生成伪标签进行自监督学习,并提出了跨域空间关联机制和多层级跨域循环一致性约束策略。跨域空间关联机制通过建立域间连接进行特征映射,从而实现两个域中几何特征的双向传播和增强。而多层级跨域循环一致性约束通过鼓励跨域环形路径上超点对保持更高的特征一致性,从而减小域间的特征偏移。结构化室内及室外道路三维场景的跨域实验表明,PCSeg-UDA具有良好的泛化能力,并在目标域上取得了有效的语义分割结果。