室内场景语义分割(indoor scene semantic segmentation)作为计算机视觉研究的一项必要工作,是室内场景理解的核心内容,也一直是图像处理领域的研究热点和难点。室内场景语义分割为场景图像中的每个像素分配语义标签,在单一过程中将检测、分割和多标签识别等传统问题结合在一起,因此是一项具有挑战性的工作。室内场景语义分割结果提供了对象级场景语义理解,对于自动理解环境、检测环境状态及其变化等具有重要价值,在机器人视觉、安防监控、消防等场景有着较为广泛的应用。深度网络近年来在提取图像特征等领域被证明是一个强有力的方法。在室内场景语义分割中,深度网络常常被用于提取图像像素特征。基于深度网络的端到端室内场景语义分割方法,根据网络高层输出的特征图判断像素的语义标签,并通过上采样等方式将语义标签传递到输入图像。但由于高层特征图分辨率远小于输入图像分辨率,因此导致图像语义分割边界不清晰。此外,以一幅大小为480×640的图像为例,像素数量超过30万,因此基于深度网络的像素级室内场景语义分割计算单元数量巨大。超像素(Superpixel)是颜色、亮度与纹理等特征相似的相邻像素组成的集合,该集合保留了大部分分割必需的结构信息。图像表示为超像素集合(一张图像通常包含的超像素数量少于1000),以超像素为计算单元相对以像素为计算单元,计算单元数量大幅度下降,因此有助于减少计算量。为此本文考虑以超像素作为深度网络输入,以缓解像素作为深度网络计算单元带来的图像语义分割边界不清晰以及计算量大的问题。与像素矩阵表示图像不同,图像经超像素分割后表示为超像素集合,不具备规格化特性,无法直接应用深度网络提取超像素特征。对此,本文研究以超像素作为输入的深度网络结构,提出两种超像素深度网络,基于所提网络对室内场景图像进行语义分割。本文具体工作总结如下:(1)提出超像素深度网络SuperPixelNet。该网络以超像素及其邻域超像素为输入学习超像素的多模态特征,融合局部特征与全局特征对室内场景RGB-D图像做超像素级语义分割。(2)提出超像素深度网络RCN(Region Classification Net)。该网络包含两个子网络,分别以RGB图像与HHA图像作为输入,提取图像颜色特征与深度特征;结合超像素最小包围盒及深度网络特征图得到超像素的多层次特征表示。基于该特征表示对超像素进行分类,实现室内场景RGB-D图像的超像素级语义分割。在公开的室内场景数据集NYU Depth V1与NYU Depth V2上的实验结果表明,本文方法有较好的语义分割效果。