智能制造作为继自动化制造后进一步的制造业形态而备受重视,而移动机器人作为实现制造业智能化的关键因素之一同样受到关注。移动机器人能否实现在陌生环境中完成自身位姿的感知以及获取环境中的语义信息是当下相关领域的研究前沿。基于上述原因,本课题主要研究基于深度学习的移动机器人三维语义地图构建方法,以深度相机作为视觉传感器,实现移动机器人对自身位置与周遭环境语义信息的感知,并以此实现周遭环境的三维语义地图的重构。本文提出一种三维语义地图构建系统的整体设计方案,该方案在实现对移动机器人自身位姿估算的同时,亦可实现对环境内物体的语义信息感知并以此构建三维语义地图。本文关于三维语义地图构建系统的主要研究内容如下:首先,全面综合的阐述了基于深度相机的视觉SLAM系统,涵盖了深度相机的工作原理,畸变模型,视觉SLAM系统的基础架构。随后,提出三维语义地图构建系统的基础设计框架。其次,本文阐述了卷积神经网络的基本原理,并以此为基础设计目标检测与识别算法,实现对周遭环境中物体位置的检测以及种类的识别。目标检测与识别算法的网络模型设计基于CSPDarknet53框架下的YOLOv4模型,以MS COCO数据集训练模型参数,并测试其检测与识别效果。再次,设计了三维语义地图的构建算法,本文使用ORB-SLAM2系统对环境进行实时的三维稠密点云地图构建,再依据空间、几何以及纹理等特征针对稠密点云图进行实例的点云分割,并以K维树结构对点云图进行重构与存储。最后,搭建实验环境,将各模块进行融合,组建完整的三维语义地图构建系统。并在实验环境下对系统进行测试,系统可在实现对自身的位姿估算以及感知环境语义信息的同时,构建精度较高且可以理解的三维语义地图,证明了本课题三维语义地图构建系统的可行性。