随着视觉建图技术的逐渐发展,语义建图技术成为SLAM领域研究的热点,语义地图是赋予机器人进行场景感知、人机交互以及行为决策等行为的基础。目前大多数相关研究工作内容是探索语义建图中语义信息的获取方法或三维地图融合语义信息的方法,这类方法仅为三维地图添加语义属性,而没有从本质上改善建图的性能。因此,本文在构建语义地图的同时,利用语义信息优化回环检测结果,探索具有实时性、准确性以及可行性的语义建图方法。首先,设计了以RGB-D图像为数据输入的几何建图系统,对视觉里程计与回环检测部分进行理论分析与数学模型推导。以ORB特征作为特征提取、特征匹配以及位姿估计的特征点,整个过程中利用词袋模型计算帧间特征点的相似度检测相机运动轨迹的回环,消除视觉里程计的累积误差。为了减少冗余地图节点数量,对三维点云地图进行体素滤波并转化为八叉树结构保存。其次,针对移动机器人平台性能与续航需求等特性,设计了轻量级语义分割网络。在网络中设计了初始化模块与两次池化的方法对输入图像预处理,进行下采样操作,旨在提升语义分割网络的实时性。随后,通过对视觉建图与语义分割结果特点的分析,提出了语义分割边界约束算法,设计了语义空间点融合方法,完成语义地图的构建。再次,根据语义地图中物体模型中心的空间位置,建立语义数据库和语义拓扑图。在语义建图系统检测到发生回环时计算帧间语义拓扑图的相似度,判断回环的真假性,辅助视觉建图系统消除假阳性回环对相机运动轨迹估计的影响,从而提高最终构建地图的准确性。最后,在Ubuntu系统中对各部分模块与系统整体进行定性与定量评价,验证本文语义建图系统的实时性与可行性。