基于视觉的同时定位与建图(SLAM)技术是实现智能移动机器人在未知环境下的定位与导航的关键技术之一,是当前移动机器人智能化研究的核心问题。传统的视觉SLAM技术局限于图像的几何特征如特征点,难以建立环境的语义地图,不利于人机交互,并且导致在动态场景中定位精度较低,难以广泛应用。双目视觉SLAM系统是目前精度最高、使用最为广泛的视觉SLAM系统。本文在其基础之上,通过构建卷积神经网络分割图像得到语义分割图,设计融合语义分割信息的优化算法,改进传统双目视觉SLAM系统的组成模块,从而提出一套完整的融合语义分割信息的高精双目视觉SLAM系统。在公开数据集下的实验表明,与传统双目视觉SLAM系统相比,本系统不仅能够建立半稠密语义地图,并且在动态场景下具有更高的定位精度。本文完成的具体工作如下:1)完成了卷积神经网络的选型和改造训练,以及卷积神经网络与SLAM框架的融合,提出了一种实时化语义分割的方法。2)基于卷积神经网络输出的语义分割信息,设计更快速、更准确的特征点匹配算法;设计动态物体检测算法,去除动态物体的影响,大大提高动态环境中的定位精度。3)基于卷积神经网络输出的语义分割信息和优化后的定位结果,组合深度滤波算法、非线性优算法和基于贝叶斯的语义融合算法,估计点云的深度和语义信息,建立准确的半稠密语义地图,相比改进前的稀疏点云地图,更有利于人机交互。4)利用公开数据集对本系统进行验证。验证卷积神网络语义分割的准确性和实时性、本系统相对传统双目视觉SLAM系统在动态环境下定位精度的提升、以及半稠密语义地图构建算法的有效性。