视觉即时定位与地图构建(Simultaneous Localization and Mapping)技术在计算机视觉和人工智能领域有很大的研究与应用需求,在机器人、增强现实、无人驾驶等领域有很大的应用价值。在视觉领域中,SLAM根据摄像头种类的不同,主要分为单目SLAM、双目SLAM和RGBD SLAM。双目SLAM和RGBD SLAM由于其深度信息较为容易获得,且匹配比较精确,因此近年来的SLAM研究大多基于双目和RGBD摄像头,并且在点云稠密化和语义解析方面有了很大的进展。而单目SLAM在图像信息获取方面具有明显劣势,需要更多的计算和优化,更难获得比较精确的相机估计和稠密点云,基于单目SLAM做语义分析更是难以达到实时要求。为解决上述问题,本文提出一种基于优化的FAST结合类LDB特征的SEM-SLAM系统,可以在PC端和移动设备进行实时的室外环境建模,通过与服务器端点云解析模块的交互,同时实现点云的实时语义分析。本文的研究内容包括以下三个方面:首先,根据实时室内外场景环境的认知与增强现实需求,对移动端的即时定位与地图构建系统进行研究,最终得到了移动端的SLAM解决方案:在ORB-SLAM模块的基础上,对特征提取部分进行了改进和提升,实现了跟踪模块、局部构图模块、闭环检测模块、优化模块四大功能,构成了完整的SLAM系统;然后针对移动端进行一系列的优化,最终结合JNI、Opencv4Android、OpenGL等技术将SLAM系统在移动端得以实现。其次,为验证改进后的SLAM系统鲁棒性和可扩展性,设计了无模板的增强现实应用。对PTAM和本文提出的SLAM模块分别添加图像识别和增强现实模块,并进行对比实验,检验本文SLAM改进的有效性。最后,对SegNet网络进行修改,实验中只设置了天空、建筑、道路、树木、汽车、行人、人行道七大类别,以便使SLAM生成的点云更有区分度。鉴于移动端的处理能力缺陷,利用Socket来实现移动端与服务器的交互,实时地将分割结果图返回,根据二维特征和三维点云的映射关系,最终实现点云语义分割,并将分割结果渲染于移动端。本文最终提出的基于移动端的SEM-SLAM系统,针对灵活室内外场景下的环境认知与增强现实需求,尤其是在无人驾驶和路径规划等领域,得到了成本低廉、性能良好的解决方案,具有很广泛的应用价值和扩展能力。