动态场景下语义SLAM三维重建方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:hydhdhfdhsdh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算设备的智能化发展,机器视觉技术得到了广泛应用,如果想要使智能设备实现与现实世界的感知与交互,必须先要恢复它的三维空间场景。其中即时定位与场景重建(Simultaneous Localization and Mapping,SLAM)作为智能设备在未知环境中实现自主导航和场景建图的关键算法越来越引起人们的重视。同时,现阶段的SLAM三维重建工作主要集中于对静态环境的重建,若环境中存在动态物体,则在点云拼接阶段会发生严重的“重影”现象导致建图效果不佳。本文研究动态环境下基于SLAM框架的RGB-D三维重建方法。为消除动态对象的影响,我们通过深度学习算法引入语义信息以及当前帧和关键帧间的几何信息检测动态对象,从而获取更准确的数据关联和变换矩阵并对动态目标所遮挡的静态背景进行修复,进而实现动态环境下的三维重建。本文的主要工作如下:(1)详细介绍了SLAM算法技术背景和相关理论知识,分析了RGB-D相机的深度图成像原理和位姿变换的计算方法,然后对后端优化中常用的BA和位姿图优化两种非线性优化方法做了详细介绍。(2)深入探讨了传统静态场景下的SLAM三维重建算法ORB-SLAM2,对其基本框架中的视觉里程计跟踪、后端优化、回环检测等关键模块部分进行了详细研究。并针对在配准时需要对图像提取大量特征点并进行匹配这一过程时间复杂度过高的问题,改进ORB-SLAM2的特征提取算法,引入GPU并行计算加速特征点的提取,提高三维重建的整体速度。(3)提出了一种动态场景下基于SLAM算法的三维重建方法,鉴于深度学习在目标检测与分割领域的突出成果。利用基于卷积神经网络的语义分割算法Mask RCNN,实现场景中的目标检测及语义分割,并结合当前帧和关键帧的位姿信息检测场景中的动态物体并对分割区域进行标记,然后修复动态目标遮挡的静态背景,进而使重建过程中静动两态点云分离以实现动态环境下的三维重建。(4)对本文提出的算法进行了实验验证,首先验证了经GPU加速改进的ORB-SLAM2具有更快的特征提取和建图速度;然后分别利用TUM数据集验证了静态SLAM和本文提出的动态SLAM两种三维重建方法在静态和动态两种环境下的三维建图效果,本文所提出的动态SLAM可实现对动态场景中移动目标的去除以及遮挡背景修复,可有效剔除静态SLAM在动态场景中建图产生的杂点点云,并具有更好的建图精度。
其他文献
在全域旅游深入实施的背景下,旅游产业的重要地位进一步得到凸显,各省、直辖市、自治区都更加重视旅游产业竞争力的提升,我国也逐步将旅游业培育成为国民经济战略性支柱产业,因此也更加需要相关理论及研究对于实践层面的支持。在以往研究中,对旅游竞争力的研究层出不穷,但在全域旅游的背景之下,在“旅游+”战略逐步深入的形势下,旅游产业竞争力的相关研究还存在空白,各省域在旅游产业发展无法得到最新的实践支持。因此,本
随着互联网和信息化的发展,网络中的信息量与日俱增,给我们生活带来极大的便捷。目前记录信息的方式有文字、图片和视频等多种形式,但我们仍主要以文字作为信息记录的载体。自然语言处理是一门融合人工智能以及语言学的交叉学科,通过表示、分析和处理文本信息,突破计算机和人类的交互方式。从大量文本信息中挖掘发现有用信息已经成为许多研究者的研究方向,实体关系抽取是自然语言处理中的一个研究方向,通过从包含命名实体的句
学位
目前大型物流分拣中心大多采用以交叉带分拣机为代表的流水作业分拣方式,但在分拣入口的快递信息筛选、出口处快递整理与搬运等环节大多是通过人工方式进行,从而造成了分拣效率低且错误率高的问题,极大的限制了物流运输效率。为了解决上述问题,本文设计并搭建了智能快递分拣系统,从而有效提高了分拣效率。具体内容和研究成果如下:第一,针对堆放杂乱无序、相互遮挡的复杂场景下快递检测识别精度低的问题,提出了一种基于通道信
学位
学位
哈萨克斯坦是我国的世代友好邻邦以及“一带一路”倡议的首倡之地和先行先试地区。随着“一带一路”倡议的不断推进,中国在哈萨克斯坦媒体中的国家形象研究越来越受到各学科
由于独特的电磁和物理化学特性,纳米级金属体系结构在电子,Micro-Electro-Mechanical System(MEMS)设备、诊断、生物传感、光谱学和显微镜学领域越来越受到关注。在不同的自组织外延生长方法中,液滴外延生长的显着优势是它的灵活性,因为它既适用于晶格不匹配的系统,又适用于晶格匹配的系统。自Koguchi等人的初期工作以来,在Ⅲ-Ⅴ族半导体上观察到了各种点状、环状、和孔状纳米结
作为MANET的重要分支之一,由多无人机(UAV)组成的飞行自组织网络(FANET)具有更大的灵活性和机动性,特别适用于农业遥感、交通监控、应急救援及军事等复杂任务场景;与此同时,F
GPS是比较成熟的室外定位技术,然而它在卫星信号被部分遮挡的室内环境中定位精度并不高。针对这种情况,研究者提出了各种室内定位技术。室内定位技术包括主动定位和被动定位两种方式。被动定位与主动定位技术相比,定位目标不需要携带设备,能满足新兴的市场需求。目前,由于很多室内环境中WIFI密集部署,并且其应用限制小,能够在不被察觉的情况下实现定位,所以本文主要研究基于WIFI的室内被动定位技术。CSI能提供