基于视觉的同时定位与建图(SimultaneousLocalizationandMapping,SLAM)为无人平台提供了自身的位置信息和环境的结构信息。在此之上增加语义信息,不仅可以提高定位与建图的精度,还可以让无人平台理解场景的内容,更好地完成多种多样的任务。目前,深度学习突破传统SLAM算法的框架,直接利用卷积神经网络对问题建模,虽然取得的效果差强人意,但已逐步引起研究者的关注。因此,针对实际需要和新的挑战本文提出了深度语义同时定位与建图的模型。本文先从端到端的位姿学习出发,搭建卷积神经网络以全监督的方式直接学习多帧图像之间的位姿变换。在此基础上,本文参考传统SLAM方法中的直接法实现了结合深度信息的位姿估计模型,增加了对单帧图像深度估计的网络分支,通过稀疏的点云进行监督学习,利用光度误差将位姿估计和深度预测的结果结合,得到精度比肩传统SLAM方法的位姿估计结果和场景的深度信息。在直接法的基础上,本文将语义信息引入到网络中作为模型学习的任务之一,并将语义信息加权到每个像素,筛选对位姿估计有正向作用的有效像素,进一步提高位姿估计的精度。为了解决在长序列中累计误差的问题,本文利用位姿图优化对模型预测的位姿结果进行整体优化,同时利用优化后的位姿结果结合深度和语义的信息构建场景的三维地图和语义地图。在两个公开的数据集上进行的对比实验表明,本文提出的深度语义同时定位与建图模型对位姿估计的精度有所提升,不仅比传统ORB-SLAM算法和同样基于深度学习的方法有更好的表现,对环境的变化也有一定鲁棒性。