环境感知是自主移动机器人研究的关键技术。随着机器人智能化需求的不断提高,环境感知也在语义信息上开展了多方面的研究,包括物体识别、环境属性解析以及端对端的控制语义等。近年来,深度学习的发展进一步推动了感知性能的提升,语义感知不论在算法准确度上还是建模方法上都取得了丰硕的研究成果。然而,现有的成果大多基于封闭的实验条件。考虑到机器人实际运行场景的开放性和复杂性,环境感知仍面临着感知维度提升、分类类别繁多以及先验数据样本有限等多方面的挑战,阻碍了移动机器人技术的广泛应用。本文在这一背景下,针对移动机器人环境识别和语义理解两方面开展具体研究,取得了以下四个创新性研究成果:(1)针对三维物体检测运算量大、搜索空间复杂度高的问题,提出了基于RGBD传感器的多模态信息融合一阶段三维物体检测模型。该模型通过在二维平面上分层融合RGB图像和深度图像中互补的外观特征和几何特征来对三维空间进行建模,实现了不同模态信息的高度融合。继而在不同感受野的特征层上进行包围框回归来解决图像投影的尺度问题。通过二维备选框搜索、三维匹配的方式,显著提高了运算效率,在SUNRGBD和NYUv2 RGBD数据集上实现了端对端的多类别、多尺寸、多视角三维物体实时检测。(2)针对场景语义标注中建模类别有限、测试鲁棒性低的问题,提出了利用分类器冲突性识别环境中未知物体的开集语义标注方法。首次在具有语义连接关系的分类问题中,从有限类别的闭集设定提升为无限类别的开集设定。该方法通过条件随机场建立场景的内在语义关联,通过内含概率支持向量机建模场景中物体的未知性,进而利用Dempster-Shafer证据理论进行概率融合,以得到不同概率分布的冲突性来判定未知物体。在不同已知类的有限样本训练下,该方法在Cornell-RGBD和SUNRGBD数据集上测试的语义标注准确度和鲁棒性相较于现有方法均得到了提升。(3)针对无交通标志场景下缺少环境可移动属性理解的语义定义和相关数据集问题,提出了利用移动轨迹实现对道路可通行结构的语义理解方法。该方法通过非参贝叶斯方法对机器人运行轨迹上的角速度特征进行聚类,并将聚类得出的动作模式映射回视觉,获得环境观测中道路可通行方向、拐点位置、及剩余距离的局部标注信息,避免了训练数据的人工标注。进而设计多任务并行的弱监督神经网络模型,通过提取图像不同局部区域的互补标注信息,来预测道路完整的可通行结构。该方法在YQ21数据集上验证了道路通行结构自学习的可行性,并可在陌生环境下进行泛化。(4)针对自主移动传统框架对高精度定位的需求,提出了在无交通标志环境中基于粗定位和公开导航地图的环境移动导引语义理解方法。该方法将环境感知与目标规划通过GPS定位结果结合在一个端对端对抗生成网络中,网络以视觉观测和局部路径规划为输入,以符合规划和道路可行性的移动导引区域为输出。视觉导引区域可进一步结合激光感知数据形成机器人局部坐标系下的导航得分图,直接用于运动指令的生成。该方法降低了传统框架下生成局部参考路径所需要的定位精度,使得感知系统在最大限度实现端对端学习性能的同时保留了模块化方法的灵活性。该方法在YQ21数据集上的动作指令生成准确度和平稳性显著高于现有的端对端学习方法。对于上述关键问题和解决思路,本文在多个公开数据集上设计了定量与定性的实验来进行算法的验证。实验结果在移动机器人环境感知的多个任务上带来了性能的提升,验证了所提方法的有效性。