在云服务机器人环境感知过程中,需要其搭载的算法具备普适性及高通信效率,以保证算法云化后能更广的泛化到更多的机器人及个人设备中。其中单目相机因其价格、尺寸和数据量优势,被广泛的用作云机器人的环境感知传感器。基于此,本文设计了一种基于三维目标检测的单目物体级VSLAM算法用于机器人环境感知,其中三维目标检测算法用于感知环境中的语义目标,VSLAM算法用作相机位姿的计算及环境建图。然而,由于单目相机无法直接感知环境的深度信息,单目三维目标检测算法通常选用数据集中的深度真值训练模型,通过图像的二维特征预测对应目标的深度三维参数,这经常会导致训练出的模型过拟合于训练数据集对应的场景和视角,较难直接在现实场景的机器人中应用;对于单目VSLAM算法,由于缺乏对真实尺度的观测,在里程计计算过程会出现较大尺度漂移,且无法构建具有真实尺度的环境地图。但两个算法各具优势,单目三维目标检测可提供对物体真实尺寸较准确的预测,进而可以得到对真实世界尺度的观测,单目VSLAM可计算相机的相对位姿变化,且在大部分场景均具有良好的泛化性。基于此,本文利用两算法的优势,针对两个算法的深度融合开展了研究工作。针对单目三维目标检测泛化性差的问题,本文基于二次椭球曲面的投影模型,建立了三维目标与几何地平面、二维检测结果之间的几何约束,设计了针对单目三维目标检测的后端优化算法。该算法首先计算三维目标对应的二次椭球曲面在图像上投影的最小包围框,并与深度网络输出的观测之间建立残差,通过最小投影和二维检测之间的差异,能够有效提升算法对深度的估计精度。甚至,在有三维目标尺寸先验时,该算法可与任意二维目标检测算法相互结合,实现三维目标检测。更进一步,本文基于VSLAM,设计了一种地平面估计策略。在物体平行地平面放置的假设下,融合地平面检测算法与三维目标检测算法,通过构建目标与地平面相切的约束,能够大大提升较远处目标的检测精度。在公开数据集上的测试结果表明,本文所设计的算法能够有效提升单目三维目标检测跨数据集的泛化性能,且具有较高的实时性。针对单目VSLAM尺度漂移且不具备真实意义的问题,本文基于单目三维目标检测设计了三维目标的跨尺度多帧联合优化算法,该算法能够在尺度不一致环境下解算物体位姿,以及VSLAM相对真实世界的尺度,同时可有效剔除VSLAM尺度下检测算法对目标的异常观测。并且,结合对物体真实尺度预测的连续观测,本文通过对VSLAM系统进行尺度初始化和物体联合BA,可有效抑制单目视觉里程计的尺度漂移,恢复单目VSLAM的尺度。并且,基于真实尺度下对目标的多帧联合优化,可进一步提升单目三维目标检测的精度。在公开数据集上的对比实验表明,本文算法具有更高的轨迹精度及检测精度,且可以实时运行。现实场景测试验证了本文算法良好的泛化性。通过深度融合单目三维目标检测和单目VSLAM,本文设计的方法可以向外输出带有真实尺度的稀疏语义地图,为搭载单目相机的服务机器人在复杂场景中的交互与导航提供较高精度和实时性的环境感知能力。