同步定位与建图(Simultaneous Localization and Mapping,SLAM)技术对于移动机器人实现环境的感知和交互具有重要意义。但是当前的SLAM方法以特征点法、单目为主,针对在遮挡、运动模糊、运动过快和无纹理区域等复杂环境下,移动机器人难以实现高精度定位的问题,本文基于双目视觉和惯导信息融合,提出了基于直接法的双目视觉惯导SLAM框架。首先,针对特征点法提取稀疏特征点影响定位准确性的问题,提出了基于直接法的惯性测量单元(Inertial Measurement Unit,IMU)辅助特征追踪的方法。利用图像像素梯度变化,对大量区域块进行下采样提取特征点,为了更好的利用该点的信息,扩展该点的选取方式构建八维残差,共享该点的深度信息。在特征追踪过程中,根据IMU短期估计的优点,利用IMU的测量信息将该点进行旋转,在下一帧投影位置中对离群值进行剔除和筛选以减少错误匹配。另外,为了提高关键帧选择的准确性,除了在关键帧决策时加入传统的视角变化,还加入了遮挡和曝光时间约束条件,以避免冗余关键帧消费系统资源。实验结果表明,加入IMU测量信息后可以很好的检测到离群值,提高了系统的定位精度。其次,针对纯视觉算法中由于运动过快或无纹理区域产生的特征点缺失,无法进行良好的特征追踪和位姿估计等问题,提出了基于双目视觉里程计(Visual Odometry,VO)和IMU融合的联合优化方法(stereo_VI_DSO)。构建了由光度误差函数和IMU预积分残差联合的目标能量函数,为了减小计算复杂度,采用滑动窗口的形式保证系统的实时性,并将边缘化的信息作为先验信息加入到目标能量函数中。用位姿图优化的方法对相机和IMU的外参、位姿和速度等状态量进行迭代优化。并在室内数据集EuRoC、室外数据集KITTI和室内实际场景对所提算法进行验证,实验结果表明,本文算法在复杂环境下能实时定位和建图,定位精度要高于单目惯导DSO(Mono Visual-Inertial Direct Sparse Odometry)、OKVIS(Keyframe-based Visual-Inertial System)和基于特征点法的双目惯导ORB-SLAM,并且所提出方法具有较高的重建密度和场景恢复能力。最后,针对stereo_VI_DSO中由于闭环场景和缺少重定位,而引起的在闭环场景中重复计算的问题,提出了带语义拓扑地图的回环检测方法。采用Mask R-CNN神经网络对输入图像分割获取语义标签,同时映射在拓扑节点和点云地图中,获得语义拓扑地图。将提取的Shi-Tomasi角点和原始特征点结合,并计算角点的ORB描述子构成可重复利用的特征点,利用语义节点和词袋模型(Bag-of-Words)构建回环检测系统,与语义拓扑地图进行结合。实验结果表明,所提算法能构建较清晰的语义拓扑地图并且定位精度要高于stereo_VI_DSO和闭环检测DSO(LDSO)。