传统的基于视觉的同时定位与地图构建（Simultaneous Localization and Mapping,SLAM）技术不能获得周围环境的语义信息,无法满足机器人对自身周围场景的感知、理解和建模的需求。现有的大多数带有语义的SLAM方法要么假定周围环境是静态的,要么仅获取像素级别的语义信息,无法对环境中的每个物体进行实例级别的标识。这将导致机器人面临很多挑战,如无法完成人机交互、智能抓取、碰撞检测等高层次的语义决策任务;真实环境中动态物体的干扰不仅导致相机的位姿估计精度降低,还将导致建立的地图无法复用。为解决上述问题,我们设计了一种基于实例级语义信息的SLAM系统,以提高机器人在真实复杂动态场景下的相机定位精度和系统鲁棒性,同时建立剔除动态物体后的实例级别的三维语义地图,为机器人后续完成诸如智能抓取、人机交互、路径规划等高级决策任务奠定基础。本文的具体研究工作包括:（1）文章首先阐明了课题的研究背景及意义,并说明了SLAM的发展历程,以及视觉SLAM和语义地图的研究现状,基于语义信息的视觉SLAM理论基础,包括视觉SLAM常用的经典框架、相机模型、及基于直接法和特征点法的视觉里程计设计原理。最后阐述了语义SLAM的相关理论基础,包括用于物体语义信息提取的目标检测常用算法,同时也介绍了语义SLAM的相关算法。（2）本文提出了一种动态环境下剔除移动物体的视觉里程计设计方法,旨在解决普通视觉SLAM在复杂动态环境下无法获取环境语义信息和定位精度低的问题。针对普通语义分割任务中分割精度不高的问题,提出了一种基于上下文关联信息优化的语义分割算法,以提高分割精度。针对传统视觉SLAM在动态场景下位姿估计精度差的问题,提出了一种基于实例级语义信息的动态对象特征点检测与剔除算法,大大提高了视觉SLAM在动态环境下相机位姿的估计精度和系统的鲁棒性。在数据集和真实环境下进行相关实验,结果证明了本文算法在动态场景下相比于其他算法具有一定的优势。（3）本文提出了面向物体实例级的三维语义地图构建相关算法,旨在构建一个全局化、静态化和标签化的三维语义地图。针对物体遮挡等原因导致深度图像存在黑洞的情况,提出了一种基于语义自适应的联合均值和双边滤波算法,以建立目标物较完整的语义地图。同时提出了一种实例级三维物体语义标签库的构建与更新算法,并在此基础上构建了面向物体实例级别的三维语义地图。在动态数据集和现实动态环境下进行相关实验,结果验证了本文算法的效果和价值。