在深度学习快速发展的背景下,语义地图成为了SLAM(Simultaneous Localization and Mapping)领域研究的热点,并得到大量研究人员的关注。语义地图通过基于神经网络的语义分割、物体检测、实例分割等技术应用于SLAM建图方法中来实现对周围环境及物体的理解。该方与主流的视觉SLAM方法的不同之处在于其不是通过对基于底层像素层级的特征点来估计相机的运动姿势及环境建图,而是通过利用环境物体中的语义信息来辅助建图。这种方式相对于传统的SLAM建图方法而言更符合人类视觉系统的原理。此外,随着产品级深度采集设备的普及,为在可见光环境条件下的物体检测及物体语义分割算法提供了物理上的技术支持,为构建环境语义地图及物体识别的算法提供了性能优势。本文针对如何构建稳定有效的环境语义地图这一研究课题,从理解环境语义信息,识别环境物体信息,构建鲁棒的动态语义地图三个层面的问题进行分析,分别对环境语义信息识别、拓扑节点识别,小样本物体识别、动态环境下语义地图构建,环境物体数据库构建等多个方面进行研究。本文的主要贡献点包括:1、我们提出了一种构建拓扑环境语义地图的方法。该方法通过卷积神经网络识别场景中的语义信息,利用其投影信息构建2D环境语义地图,通过RGBD SLAM算法构建环境的三维地图,通过识别地图中的岔路节点构建拓扑节点信息。从而构建了一个包含2D环境语义信息,3D点云信息,拓扑节点信息的语义地图。2、我们基于小样本物体识别框架,提出一种称为嵌入自适应交叉调制机制(embedded adaptive cross-modulation,EACM)的网络结构并将其用于解决小样本物体识别问题。该方法一方面通过在度量空间中自适应的调整不同类别间的余弦度量距离,从而提高了可区分性,来提升分类效果。另一方面,在神经网络不同层之间通过一种交叉调制的方法,增强了支持集与验证集之间的特征交互,丰富了训练样本的特征表达,从而提升了分类效果。此外,我们还使用基于自适应注意力机制的神经网络来强化语义相关类别在嵌入特征空间中距离度量的比较、抑制语义不相关类别的距离度量的比较。通过将所有特征向量间余弦距离的度量结果乘以通过注意力网络训练出来的关系系数,从而使得不同类别间的分类效果更加明显。3、目前大多数面向语义地图的研究是以静态环境为地图构建的前提,而且往往侧重于3D点云图的构建或者是侧重于相机轨迹的构建,或者是侧重于对环境物体的识别。本文中我们使用动态点检测算法对图像中的动态关键点进行过滤,将现有视觉SLAM系统与语义分割神经网络等算法相结合,从而达到构建动态语义地图的效果。在构建动态语义地图的同时,通过语义信息优化了局部地图的建图效果,并构建了环境物体信息数据库。