面向动态场景定位的实时语义SLAM系统研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:jijiaweiaics
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的快速发展,具备自主感知能力的智能移动机器人受到越来越多的关注。作为获取感知能力的关键技术之一,视觉SLAM依靠搭载的相机传感器获取周围环境的信息并完成自身的定位。基于静态场景的假设,现有的视觉SLAM方法大多能够稳定鲁棒地运行,而现实环境往往存在动态物体,面对动态场景,原本的SLAM方法很大程度上会受到运动物体的影响,导致定位结果存在较大的误差。为解决动态场景下的定位问题,融合了深度学习技术的语义SLAM被广泛使用,利用神经网络强大的图像理解能力为SLAM提供先验的环境语义信息,并结合语义信息处理动态物体。虽然如今的语义SLAM方法能有效提高动态场景中的定位精度,但却没能在系统实时性上有进一步的提升。为解决这样的问题,本文从模型轻量化、动态概率优化等角度设计了一种面向动态场景定位问题的实时语义SLAM系统,具体研究内容如下:首先,针对现有语义SLAM方法在前端采用复杂的检测或分割模型,导致系统运行缓慢的问题,本文提出一种基于多层次知识蒸馏的连续图像语义分割方法,以获取一种适用于连续图像的轻量级语义分割模型。该方法将教师模型的知识分为高、中、低多层次进行蒸馏。这三种层次的知识分别被定义为模型预测值、多尺度融合特征图以及特征层中的特征值,并以多层次知识为基础设计蒸馏项。首先基于低层次知识的特征蒸馏保证学生模型与教师模型的特征分布尽可能接近。再以中层次知识为基础,将图像的空间结构知识传递给学生模型。最后利用高层次的知识编码相邻图像帧间的依赖关系,并将该隐含知识传递给学生模型。此外,利用定义的语义一致性损失,改善像素点在前后帧标签预测不一致的情况。实验证明,基于该蒸馏方法可以显著提升学生模型的精度,且在模型精度和轻量化方面取得了更好的平衡。其次,为了进一步提高语义SLAM在动态场景下的运行速度,在前文研究的基础上,本文对影响系统实时性的因素进行分析,以ORB-SLAM3为主体框架,从神经网络轻量化、关键帧处理策略、概率传播与更新、位姿优化的角度,提出一种基于动态概率优化的实时语义SLAM方法。首先在实时性提升方面,利用上一个研究工作所提出的多层次知识蒸馏方法训练出适用于连续图像的轻量级分割模型,并将其部署在SLAM系统中,设置语义分割模块作为单独的工作线程,提高系统线程之间的并行性,只将语义分割模块用于处理关键帧图像,避免逐帧处理引起的时间延迟。此外在动态物体处理方面,本文提出一种静态语义关键帧筛选方法,选择包含静态信息更多的关键帧,减少动态物体参与。通过概率的形式为提取出的特征点赋予相应的动态概率,利用关键帧的语义分割结果以及数据匹配算法,为每帧图像上的特征点进行动态概率传播与更新,并将动态概率低于阈值的特征点用于相机位姿初始估计。最后在位姿优化方面,将动态概率与局部BA相结合,根据地图点的动态概率得到相应的权重,并利用权重计算加权重投影误差。基于公开数据集的实验结果证明,该方法可实现对动态特征点有效处理,同时提高系统的运行速度。此外本文还基于嵌入式AI开发板Jetson TX2,在实际动态场景中进行方法验证,最终的结果显示,本文方法可以在嵌入式平台顺利运行。
其他文献
机械循环支持装置使用过程中出现的胃肠道出血是一种严重的临床并发症,其产生与血管性血友病因子(von Willebrand Factor,VWF)的功能降低有关。VWF是一种与凝血相关的血浆蛋白,其功能的降低主要表现为高分子量VWF的降解。国内外学者对于机械循环支持装置导致的VWF损伤进行了诸多研究,大多聚焦于造成损伤的力学因素。然而,除力学因素外,VWF损伤还可能受到界面因素的影响。本课题采用实验
学位
新文科建设为新时代文科教育和人才培养指明了方向,给高校体育课程思政带来了新的机遇和挑战。面向新文科的高校体育课程思政的机遇是交叉与融合,挑战是示范与统筹,对策是创新与协同。文章提出,为应对挑战,高校要创新面向新文科的高校体育课程的多学科融合机制、建设面向新文科的体育课程思政实践教育基地和资源共享平台、构建面向新文科的体育课程思政和思政课程协同育人体系、完善面向新文科的体育课程思政创新的综合改革措施
期刊
目的:慢加急性肝衰竭(Acute-on-chronic liver failure,ACLF)是在慢性肝病的基础上由急性损伤因素导致的肝功能的严重紊乱,以器官衰竭和高短期死亡率为特征,目前的治疗方式都没能取得理想的效果。研究表明细胞因子信号转导抑制因子SOCS3可能参与肝功能衰竭时炎症反应平衡的调节过程。因此,探讨SOCS3在ACLF发病机制中的作用及其在病程中的变化情况,有利于ACLF的早期预警
学位
一些年轻人主动减少与他人接触的机会,甚至是彻底避免与他人碰面。作为标签的"社恐"确实正在成为一种"流行病",矫正"社恐"心理,还是要致力于提高自身的社交自信、社交勇气和社交本领。
期刊
<正>商标作为企业商誉的载体,同时也作为企业的产品和服务在市场安全行进路上的铠甲,已经成为越来越多企业的核心资产。本文通过调研分析国际商用航空发动机厂商商标注册和使用情况,阐述了国内商用航空发动机企业在商标管理工作中需要注意的问题,并给出了相应的工作建议。
期刊
目的 右美托咪定(Dexmedetomidine,DEX)是临床上广泛应用的麻醉辅助药物,作为一种高选择性的α2受体激动剂,具有镇静,减少应激,免疫调节等作用。本研究利用DEX的免疫调节作用探索其对克罗恩病(Crohn’s disease,CD)模型小鼠的肠黏膜屏障功能及相关免疫学机制。方法 取12周龄的C57BL/6背景的IL-10-/-雄性小鼠,随机分为两组:模型组(IL-10-/-组)和治疗
学位
近年来,“社恐”作为“社交恐惧症”的缩略语,以文化流行语的形式在网络流行,网络检索率及话题讨论度持续攀升。“社恐”的流行显示着独属于青年一代的“感觉结构”,折射出青年在社交方面的精神困境,反映着当下青年关于社会的共同体验。本研究以雷蒙德·威廉斯的“感觉结构”理论为指导,结合文本分析、参与式观察以及深度访谈的研究方法,旨在探讨“社恐”这一网络流行语,作为青年群体“感觉结构”的接合表述,其背后的具体指
学位
我国证券市场成立初期,上市公司倾向于不发放股利,股利支付率较低。对此,证监会先后出台了系列强制性现金分红政策,虽然一定程度改良了我国上市公司“铁公鸡”的分红现状,但也引发了“庞氏分红”等非常规派现行为。“庞氏分红”由学者谢德仁提出,通常指上市公司不具备分红能力而利用外部融资进行分红的行为,“庞氏分红”颠覆了传统股利理论“现金分红来源于内部自由现金流”。固然,上市公司通过“融资”进行“分红”,迎合市
学位
人体动作识别作为许多现实世界应用和需求的关键技术,近年来引起了计算机视觉和人工智能社区的密切关注。在基于骨架数据的最新研究中,基于图卷积网络(GCN)的方法在动作识别任务上取得了优异的表现。与基于RNN和CNN的方法不能完全表示骨架数据的图结构相比,GCN能够更自然地将运动数据建模为时空骨架特征图,非常适用于从非欧几里得结构的数据中提取特征,因而在基于骨架的动作识别中得到了广泛的研究。如何从骨架数
学位
在海绵城市政策、可持续发展等理念的推动下,城市生态得到一些改善,但海绵城市建设目标是对城市雨水管理中规划领域的议题。当其技术指南直接从地区层层分级到地块,甚至城区、街区、道路上的雨水管理控制上时,指标均质单一、落实效果不佳的问题就普遍发生。道路作为城市内经济社会活动的纽带,逐渐成为城市内主要的下垫面类型,占城市总面积近1/3的硬质空间,成为降雨天气下主要的雨水接受面和地表径流汇集面,进而带来城市内
学位