语义地图除了具有场景的几何结构信息外,还能提供高层次的物体语义理解,在越来越多的三维视觉场景任务如增强现实、人机交互、无人驾驶等中得到应用。语义地图需要从场景中推理出相关知识或语义,这离不开语义分割。语义分割在深度学习的推动下迅速发展,成为三维场景理解的基础,是机器视觉领域重点研究技术之一。基于深度学习的语义分割与语义建图算法还有诸多挑战,一方面,语义分割精度和实时性还存在提升空间;另一方面,语义建图在深度差异较小区域无法提取物体实例。本文对此展开如下研究:对于基于深度学习的语义分割算法研究,本文提出采用RGB-D数据双模态融合语义分割模型。模型利用并行Res Net网络提取两种数据模态的特征,通过注意力选择机制来自适应地探索时间和空间的关系,并采用双模态特征融合模块进行特征融合。为了提高输出特征分辨率,在Refine Net基础上改进多分辨率特征融合模块,逐级融合高分辨率与低分辨率特征。通过在公共数据集上实验证明,提出模型在平均交并比和实时性上得到提升。基于语义建图算法的研究中,由于语义分割只能识别数据集中的物体,并且语义分割边界与物体边缘不贴合,将语义分割与几何深度分割算法结合以发现新的、未识别的物体。本文提出语义-几何分割细化算法,利用语义标签将淹没在背景中的物体提取出来,构建实例,提高语义建图精度。在公开数据集中实验验证,本文算法有明显的改进效果。本文构建了一个完整的语义建图系统,整个系统包括语义分割、几何深度分割、语义-几何分割细化、位姿估计、三维重建、数据关联等功能。硬件方面,采用Intel Realsense D435i和嵌入式设备Jetson TX2实现增量式实例级语义建图系统。在公共数据集与实际场景中建立语义地图,验证了系统有效性。