场景理解是计算机视觉领域的一个重要分支,旨在使计算机拥有像人类视觉系统一样理解场景的能力,是现代智能系统实现环境感知和视觉导航的基础。场景分割提供了对场景完整的细粒度理解,是实现场景理解的关键,目前在自动驾驶、智能机器人和增强现实等领域有着广泛的应用,因此具有重要的研究和应用价值。虽然基于2D图像的经典场景分割算法已在计算机视觉中取得令人瞩目的成就,然而现阶段场景分割研究仍然存在一些不足和挑战:一方面,由于2D图像数据难以获取场景的结构信息且易受自然环境和成像条件的干扰,在自然场景尤其是室外场景中具有内在的局限性。另一方面,相比于2D图像数据,3D点云数据包含更丰富的场景结构信息因而有利于实现场景分割。但由于其数据特性,使得很多针对2D图像设计的传统算法,尤其是深度学习算法,不能直接应用于3D点云数据的研究。为此,本文从多模态数据融合和3D点云特征学习两个角度开展了基于3D点云的场景分割算法研究。其一是借鉴基于2D图像数据的场景分割研究成果,建立2D图像和3D点云的融合模型以弥补单一传感器的不足,提升场景分割法的鲁棒性。其二是对3D点云分割任务中的特征编码和特征解码问题展开了深入研究,构建适用于3D点云数据的特征提取算子,通过提升点云特征的表示能力以实现高效点云语义分割。具体地,本文的主要研究工作如下:提出了一种基于融合分层条件随机场（Conditional Random Field,CRF）的道路分割模型,提高了道路分割的鲁棒性。图像的多尺度特征可以提高模型的感受野,而点云的空间结构特征能弥补像素特征表现力不足的缺点。为了有效地结合图像的多尺度特征以及点云的空间结构特征,首先利用无监督分割算法产生多个尺度的图像超像素分割,建立一个基于图像的多尺度分层条件随机场。相应地,将点云投影到图像平面,再建立一个基于点云的多尺度分层条件随机场。最后在两个分层条件随机场的底层建立像素和点云点之间的连接,形成一个融合分层模型。在KITTI道路基准上的实验表明所提出的融合模型能有效地排除道路场景中的阴影、光线等干扰。提出了一种基于空间传播和空间变换融合的道路分割网络,增强了道路表示的准确性。为了利用深度网络和多模态数据融合的优势,首先设计了一个简单有效的轻量级网络来处理无序和稀疏的点云,以获得道路区域的粗略表示。然后,采用一个等分辨率卷积块来捕获图像的低级特征,这些特征用于产生基于联合各向异性扩散的空间传播模型的热扩散系数。在学习到的低级图像特征的指导下,通过网络中的空间变换,在透视视图和俯视视图中对粗略表示进行空间传播融合。最后,将两个视图下的结果整合,生成道路区域的最终细化表示。在没有任何额外的数据增强和预训练下,所提出的方法在KITTI道路基准测试中获得了有竞争力的结果。提出了一种基于连续条件随机场卷积（CRFConv）的点云分割算法,增强了网络的定位能力,从而提高了分割性能。条件随机场通常被建模为标签空间中的离散模型,以鼓励标签一致性,这实际上是一种后处理。本文重新考虑了在点云特征空间中的CRF,因为它可以很好地捕捉特征的结构以从根本上提高特征的表示能力,而不是简单地平滑标签。首先将点云特征空间中的CRF模型的求解过程重新表述为一个消息传递图卷积,然后将其嵌入到分割网络的解码层的以恢复在编码阶段丢失的高级特征的细节。在多个点云分割数据集上的实验证明了所提出方法的有效性。提出了一种自适应混合高斯卷积（AGMMConv）的点云学习算法,提升了内核表示对局部几何结构的适应性。卷积神经网络的成功主要归功于卷积核的（平移）不变性和局部模式匹配效果。受此启发,提出用一个混合高斯模型（Gaussian Mixture Model,GMM）表示离散的卷积核,其中均值向量表示核点的位置,而协方差矩阵确定每个核分布的形状。同时,该GMM也是从局部观察中学习到的局部几何表面的分布表示,这使得内核能够适应局部几何结构。所提出的卷积本质上对排列和平移不变,此外,还可以从概率表示中引入潜在的旋转不变性。在卷积过程中,一系列共享参数权重与每个GMM内核点相关联,以匹配点云的局部模式。在目标级和场景级点云数据集上的实验证明了所提出方法的有效性和鲁棒性。