机器人的同时定位与建图(Simultaneous Localization and Mapping,SLAM)是机器人导航和环境感知的重要基础。同时为了使机器人能够更好的理解周围的场景,对三维环境的语义感知也至关重要。本课题主要研究了室外大尺度场景下移动机器人利用双目视觉进行定位,视觉联合差分GPS进行融合定位以及三维场景的稠密语义重建等问题。准确可靠的位姿估计是机器人能够进行准确建图的先决条件。针对于定位问题,本文首先设计了一个双目视觉里程计。里程计主要由相邻帧的在线跟踪线程和后端优化线程组成。为了提高计算效率使得定位具有较高的实时性,在线跟踪部分采用基于半直接法的框架,通过利用LK光流对关键点进行追踪的方法,提高了数据关联部分的计算速度。在后端的优化部分,采用基于滑动窗口优化的方法,对固定数量的关键帧的位姿以及观测到的地图点进行优化。由于视觉里程计是一种相对定位的方法,在短时间内的定位结果较为可靠,但长时间运行下常常会出现较大的累计误差。在室外场景下,GPS也是移动机器人常常用来进行定位的传感器。相比于视觉定位的结果,GPS定位具有全局定位准确的优点。本文提出一种基于位姿图优化融合视觉里程计和高精度差分GPS定位的算法,实现了视觉和GPS的联合定位。通过融合GPS的定位信息解决了视觉里程计长时间运行下误差累计导致的轨迹漂移问题。目前大多数针对于室外场景下的SLAM系统常常侧重于在线的实时定位,构建出的地图往往是稀疏特征点地图或者半稠密的地图,对于三维环境的完整建模还远远不够。为了使机器人更好得对环境进行完整的建模,本文后端的建图算法通过双目视差的稠密恢复对三维场景进行了较为稠密的重建。在重建的过程中,为了节省存储空间和提高建图的质量,本文采用了基于TSDF模型的建图方法。另外,为了使机器人更好的感知周围的场景中的语义信息,本文将语义分割网络deeplabv3+融入到建图算法中完成了场景的语义建图。最后,为了验证上述算法的有效性,分别基于KITTI数据集和实际道路场景下采集的数据进行了算法实验。分别从视觉里程计的定位精度和实时性,融合GPS后对定位精度的改善以及地图的重建效果等方面进行了分析。