在移动机器人领域,即时定位与地图构建（Simultaneous Localization and Mapping,SLAM）是机器人用于自主定位以及进行路径规划的关键技术,而基于图像的视觉SLAM更因其采集数据的丰富性以及应用场景的广泛性得到了深入的研究。目前,基于多视图几何以及非线性优化的视觉SLAM方法框架由于不包含图像高级语义信息,已经无法满足人们对于智能机器人的交互要求,而将视觉SLAM与图像语义相结合的语义SLAM方法展现出了比传统的视觉SLAM方法更广阔的应用前景,逐渐得到广大研究学者的重视。本文研究的内容是如何将图像的语义信息与传统的视觉SLAM方法进行更深度的融合,通过借助图像语义信息,不仅可以提高传统视觉SLAM算法的效果,同时还可以使机器人更好的理解所处的环境,从而提高智能机器人的人机交互能力,更好地为人类服务。本课题基于计算机视觉相关技术,研究将图像语义与视觉SLAM相结合的相关算法流程。本课题的研究内容分为四个部分:1)采用基于图像语义融合的图像特征表示方法以及基于语义分割的特征匹配方法,基于匹配结果进行相机位姿的计算;2)根据图像的局部以及整体语义信息进行融合并构造基于卷积神经网络的回环检测方法框架,根据网络输出图像间的相似度得分来判断是否存在回环,并以此对相机位姿进行误差矫正;3)估计图像深度信息,基于条件生成对抗网络并结合了传统的三角测量方法对图像中像素的深度值进行估计;4)基于前面几章工作进行三维环境地图构建,将像素点映射到三维参考空间中,并根据点云语义信息构建稠密三维点云语义地图。本文的具体研究工作以及创新点如下:1)针对视觉里程计中的特征提取及匹配问题,本文提出一种基于图像语义信息融合的视觉里程计算法。传统的视觉里程计中通过提取图像特征进行匹配以计算相机的位姿,这个过程中缺少图像语义信息进行监督,从而导致计算误差较大。本文通过对图像特征周围多尺度邻域进行截取并通过卷积神经网络进行语义信息提取及融合的方法来生成图像的描述向量,比传统方法的鲁棒性更强。而在之后的特征匹配过程中,提出了基于特征语义标签的特征匹配方法,利用实时语义分割方法得到特征点的语义标签,并在匹配时对于标签不一致的特征予以舍弃,改进了单纯依靠特征描述之间的距离进行匹配的方法。最后根据特征匹配结果并采用RANSAC方法计算相机位姿,得到相机的运动轨迹。2)为了对计算得到的相机位姿中的累积误差进行修正,本文提出一种基于图像多尺度信息融合并结合Siamese网络的回环检测方法。回环检测的目的是对相机位姿中的累积误差进行消除,使得到的相机位姿更加精确,而回环检测的主要研究内容就是如何准确、全面地表示图像并计算图像之间的相似度。针对传统视觉词袋模型只依靠图像特征导致图像相似度得分计算结果不准确的问题,本文对传统的Siamese网络结构进行了改进,在网络的每个分支上设计了分别采用VAE和ResNet的双路并行处理结构,其中VAE结构用于提取图像局部特征语义信息,而ResNet则对整个图像进行语义信息提取,最后对这两种尺度的特征进行融合后得到了图像的融合描述向量,并以此计算图像间的相似度得分。对本方法在数据集上进行实验的结果表明本文方法结果优于传统基于视觉词袋模型的回环检测方法,可以有效地对相机位姿进行误差矫正。3)针对三维地图构建中所需要的像素深度信息,本文提出一种基于CGAN和三角测量的图像深度估计方法。在构建三维地图时,图像的深度信息必不可少。本文基于图像深度信息与相机参数存在紧密联系的情况,提出了基于条件生成对抗网络（CGAN）并结合三角测量方法对图像深度信息进行估计的方法。通过估计结果与真实深度图像进行误差优化以及判别器对二者的判别结果,得到了图像深度估计结果,同时针对深度估计结果存在的尺度漂移问题,通过选取其相邻图像进行特征匹配得到图像真实深度,用于对CGAN的估计结果进行精细调整。本方法改进了其它基于深度卷积神经网络的深度估计方法缺乏有效信息监督的缺点,在深度估计过程中同时具有判别器以及真实深度尺度信息的监督,使得图像的深度估计结果更加准确。4)本文提出一种基于点云语义信息的三维稠密点云地图构建算法。根据前几章的工作结果,基于相机位姿以及图像深度估计结果,可以基于相机模型计算二维像素点在三维空间中的映射位置,并将三维点组成稠密的点云地图。本方法对空间中的三维点进行了基于k-d树的数据组织形式,方便对三维点进行区域查询。而且根据视觉里程计中图像语义分割结果,提出了基于空间语义密度的外点去除方法,即基于点云语义密度将空间点划分成核心点和边界点。而且,在点云地图规模过大时还可以基于图像的语义信息进行区域的筛选,对属于背景类别或者任务中可以忽略的物体类别的三维点进行删除,只保留感兴趣区域,控制点云的增长速度。