基于深度学习的稠密建图与SLAM系统研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yyl273518021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
同步定位建图技术(Simultaneous Localization and Mapping,SLAM)是在未知区域中实时获取自身定位和环境位置信息的技术。目前,单目SLAM存在建图稀疏的问题和运动较快时容易发生定位丢失的问题。针对这些问题,本文对基于特征点法的单目ORB-SLAM2系统进行改进,提升了系统建图的稠密程度和部分快速运动场景下的鲁棒性。本文工作如下:(1)针对单目ORB-SLAM2系统中建图稀疏的问题,设计了一个基于光流跟踪网络的实时稠密建图模块。基于特征点法的SLAM系统受限于特征点的稀疏性,无法进行实时的稠密匹配,所以本文采用基于深度学习的光流跟踪网络对关键帧进行稠密光流跟踪,并使用光流跟踪结果进行稠密建图。该模块作为新的线程与原系统的局部建图模块并行,在原系统的基础上维护了一个由八叉树全局地图和点云局部地图构成的稠密地图。改进后的系统增加了处理时间,但大幅提升了建图的稠密程度。(2)针对单目ORB-SLAM2系统的视觉里程计在快速运动时容易发生定位丢失的问题,本文提出了一种融合稠密地图的视觉里程计改进方法。由于ORB-SLAM2的视觉里程计依赖于帧间具有深度信息的匹配点,故该方法使用稠密建图模块维护的局部点云地图,在必要时为匹配点补足深度信息,从而在位姿解算环节提供足够的约束信息,使位姿解算更加稳定。该方法提升了系统在部分快速运动场景下的鲁棒性。(3)向基于C++搭建的SLAM系统中引入深度学习网络,一般需要对原网络进行一系列模型转化。本文在机器人操作系统(ROS)上构建了一个基于客户端-服务器模型的SLAM系统。将融合上文稠密建图模块和视觉里程计改进方法的ORB-SLAM2作为系统的客户端节点,可以方便地调用稠密建图模块所需的光流跟踪网络。主流的基于深度学习的光流跟踪网络不必经过模型转化,即可作为系统的服务器节点承担光流跟踪任务。本文以Mask Flow Net和Flow Net2两个光流跟踪网络为例,作为服务器节点进行光流跟踪,并在录制的场景下与多个视觉SLAM系统做比较。实验结果表明,该系统在定位与稠密建图上有良好的表现。
其他文献
智慧安防是智慧城市的重要领域之一,在安防监控、无人零售等方面发挥着关键作用。随着高清摄像头的普及,视频监控系统已经成为智慧安防领域的核心组成部分。然而监控图像易受雨、雾、霾、沙尘等恶劣天气的影响,导致清晰度下降、颜色失真等问题,严重降低车牌识别、人员检测等的准确度。现有针对恶劣天气下监控图像清晰化的研究主要面向雨、雾、霾等场景,由于沙尘天气中悬浮沙粒对光具有吸收、散射作用,引起偏色严重、锐度下降等
学位
随着深度学习技术在计算机视觉和自然语言处理领域的广泛应用,越来越多的学者将目光聚集到二者的交叉领域上来,图像描述、视觉搜索等基于二维数据的相关任务都取得了令人瞩目的发展。近些年来,三维传感技术的进步推动了三维视觉的革命性发展,对点云形式的三维室内场景数据的研究也逐渐成为当前的研究热点。目前,已经有相关工作致力于链接三维视觉和自然语言处理两个领域,相关数据集和优秀工作的提出,为在三维环境下的跨领域、
学位
遥感图像分类是遥感图像处理的重要组成部分,已经在城市制图、精准农业、森林变化检测、环境保护和军事侦察等多个领域进行广泛地运用,具有重要的研究意义。近年来,集成学习算法成为遥感图像分类领域的热门研究方向。与单分类器相比,集成学习不仅可以利用多个基分类器之间的差异性,提高模型的泛化性能,而且能够使各个基分类器的信息进行互补,从而显著提升分类系统的准确性和鲁棒性。本文以集成学习为核心技术,开展遥感图像分
学位
三维重建是通过计算单个或多个相机采集的二维图像间的关系,来恢复潜在的三维模型的技术。作为计算机视觉的重要问题之一,三维重建已广泛应用于增强现实、摄影测绘、自动驾驶等领域。然而,由于输入图像中往往具有场景变化大、可用信息少等特点,三维重建过程中容易出现特征点定位误差大、相机姿态不正确、模型存在空洞等问题。针对上述问题,本文通过研究特征点提取、视图重建等方法,设计并实现了一种基于深度学习的三维重建系统
学位
随着移动通信技术的发展,人们开始研究如何在移动终端实现目标定位、手势识别、成像等感知功能。目前,移动终端上的成像功能主要依靠光学摄像头实现,光学成像发展多年,技术成熟,但是光学摄像头容易受光线条件影响,在弱光或无光环境中难以实现成像。而基于太赫兹阵列的成像系统不受光线影响,能够实现非可视环境下的成像。太赫兹电磁波波长短的特点也易于设计出适合移动终端使用的天线。此外,太赫兹波具有的高宽带性能够实现高
学位
随着信息活动的日益频繁以及无线通信手段的日新月异,海量的信息交流难以避免地产生了大量的射频干扰源。在地球遥感应用中,由于微波辐射计所测量的大气和地表的信号较微弱,使得设备观测信号受到了严重的射频干扰源污染,进而难以反演得到精确的遥感信息。综合孔径微波辐射计的宽视场以及有限的空间频率采样导致了射频干扰源在成像结果中存在吉布斯现象,因而射频干扰源对综合孔径微波辐射计成像性能的影响更为显著。为了缓解当前
学位
目标跟踪始终是科学研究中的热点领域,随着社会的不断发展,跟踪场景变得日益复杂,多目标跟踪技术也随之得到快速的发展和应用。群目标跟踪的概念随之被提出,群目标跟踪中跟踪的目标是由多个单目标组成,它们以相同的速度或方向进行移动,如无人机群,舰艇编队等。目前群目标跟踪更是被广泛的应用在各个领域,例如智能监测、机器人视觉导航,室内定位等,随着研究的深入,越来越多基于随机集(RFS)的滤波算法涌现出来,例如概
学位
报纸
在医学图像领域,图像融合是一种重要的医学辅助技术,可以综合处理不同医学成像设备提供的图像信息,并进行有效组合,获得一幅信息更加丰富的结果图像。本文研究了基于反卷积神经网络及直觉模糊推理的CT/MRI医学图像融合算法,具体研究内容如下:研究了基于多方向梯度的直觉模糊推理CT/MRI图像融合算法。为了获得能够充分表征源图像的特征图,本文采用基于高斯方向滤波器的反卷积神经网络,根据待融合数据,设计了图像
学位
高校实验教学是学生掌握专业技能与培养解决实际问题能力的重要途径,其中,学生实验课堂表现是实验成绩评估的重要环节。但是,近年来随着学生数量的增加与实验内容复杂度的提升,单纯依靠教师已难以及时、精确地评估学生的课堂表现。因而有必要将人工智能技术融入到实验课堂教学中,通过智能视频检测方法实时识别学生的实验课堂行为,提高了课堂表现评估的精确性和实时性。本课题充分考虑大学实验课堂的具体情况和需要,为解决学生
学位