基于单目视觉的动态语义多建图SLAM算法研究

来源 :内蒙古工业大学 | 被引量 : 0次 | 上传用户:wreck2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术与机器人技术的发展和应用,人们需要更加智能的机器人,而同步定位与建图(SLAM)技术是智能机器人应用于工作和生活的基本能力。近几年,SLAM技术的快速发展,使各种SLAM算法在某些方面已经取得了良好的性能,并能够应用于一些特定的场景中,但仍有很多问题尚未解决。因此,本课题针对SLAM算法目前存在的一些问题开展深入研究,提出一套完整的在动态环境下可对场景进行语义分析的语义SLAM算法。该算法主要包括如下两个部分:(1)针对传统视觉SLAM算法是在假设场景刚性不变的条件下进行建图,导致无法实现动态环境建图,以及无法克服因环境特征不明显或机器人被“绑架劫持”而导致场景跟丢问题,提出一种在动态环境下可以同步定位与多地图构建(DE-SLAMM)的SLAM算法。该算法首先引入一种多地图构建思想,当算法跟丢时,算法会自适应生成一个新的局部地图,并在回环时将该多个新地图之间相互融合,形成一个全局地图,从而解决算法跟丢后无法重建问题;其次,结合深度学习和多视图几何技术实现对环境中的动态物体进行实时检测,并利用多帧融合技术对动态对象遮挡的部分进行背景修复,从而解决传统SLAM算法无法在动态环境下跟踪建图问题;最后将该算法应用于实际场景进行测试,结果表明,相比经典的V-SLAM(ORB-SLAM2、ORBSLAMM和Dyna-SLAM)算法,当发生跟踪丢失时,本文算法可在很短时间内快速重建地图并实现继续跟踪和新地图融合,而ORB-SLAM2和Dyna-SLAM在算法跟丢后直接进行重定位,无法继续对所处环境跟踪和建图;ORBSLAMM跟丢后虽然可继续建图,但其建立的地图不能实现多地图融合,无法构建整体地图;进一步通过动态环境测试实验发现,只有本文算法可实现所有动态目标(先验和移动目标)的实时检测及背景修复,Dyna-SLAM只能实现先验目标检测,而其它两种算法无法实现动态环境下目标检测和地图构建。(2)然而,传统SLAM算法无法识别环境中的物体,为了使机器人能够对环境进行语义分析,更好的识别环境中的物体,本文提出一种全新的多通道深度加权聚合网络(Muti-Channel Deep Weighted Aggregation Net,MCDWA Net)的实时语义分割框架,用来配合DE-SLAMM算法使机器人在对环境跟踪和建图过程中还能对环境中的物体进行精确分割与识别。该语义分割框架首先引入多通道思想,构建一种三通道语义表征模型,可用于提取图像的三类互补语义信息:1)低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;2)辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈,确保高级语义通道提取的快速性和准确性;3)高级语义通道获取图像中上下文逻辑关系及类别语义信息。之后,设计一种三类语义特征加权聚合模块,该模块可将三通道输出的互补语义特征加权后进行深度融合,来生成图像的全局语义描述,从而使网络的分割精度得到较大幅度的提升。最后,引入一种增强训练机制,加强训练阶段的特征表示,强化和改善训练速度。实验结果表明,本文方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡,所设计的增强训练模块能够很好的改善网络训练性能。最后,设计了硬件测试平台,利用ROS机器人操作系统将DE-SLAMM算法和MCDWANet算法融合为动态语义多建图SLAM算法,并在硬件测试平台上对动态语义SLAM算法进行整体性测试,从而验证算法在硬件平台上的运行效果。硬件测试结果表明,本文研究的动态语义多建图SLAM算法在硬件测试平台上运行时,可以跟踪环境和建立环境的三维点云地图,并且能够对所处环境进行语义分析,整体效果较好。
其他文献
数字体积相关(DVC)方法可以定量提取物体内部的三维全场变形,在骨材料的研究中得到了广泛的应用。骨材料有着复杂的多级结构和各向异性的力学性能,需要对内部结构的变形演化进行定量表征。因此本文对DVC方法展开了研究并将DVC应用于自然界韧性最高的骨材料之一——鹿角的原位力学实验研究。DVC是一种非接触、非干涉的内部三维变形场测量方法,其基本原理是通过匹配物体变形前、后的体图像来测量变形,已成为实验力学
学位
“文明其精神、野蛮其体魄”是中国教体育融合发展学校体育的主流育人观。国家体育总局在2020年颁布的政策性文件《关于深化体教融合促进青少年健康发展的意见》中强调学校体育的发展关系到中国向体育体育强国建设的进程,学校体育发展建设是中国教育事业的关键部分之一,习近平总书记在体育强国建设的指示和全国教育大会上明确指出要充分发挥党委领导和政府主导作用,要深化具有中国特色“体教融合”发展,从实践出发推动青少年
学位
中国特色社会主义进入了新时代,我国社会主要矛盾转化为人民日益增长的对美好生活的需要和不平衡、不充分的发展的矛盾。体育作为五大幸福产业之一,在繁荣人们的意识形态追求方面发挥着不可替代的作用。公共体育服务,是通过提高民众身体素质、满足公众体育需要,来增强我国软实力的公共产品和服务,对于推动社会发展有着重大意义。重视和保护公众的体育权益,是公共体育服务体系建立的出发点,提高人民身体素质是实现全民健身目标
学位
社会经济的发展使得传统能源日渐匮乏,生态环境也日渐恶化,因此人们加快了对新能源利用的脚步,并网逆变器作为新能源发展的核心器件,具有十分重要的研究意义。本文的主要研究内容是,针对T型三电平并网逆变器的调制策略进行优化研究,使其能够更好的抑制直流侧中点电位的波动以及减小共模电压。首先在文章中分析了 T型三电平逆变器的拓扑结构特点以及换流工作过程,详细的给出了传统七段式SVPWM调制策略的推导过程以及原
学位
作为第三代半导体的代表,Ⅲ族氮化物(GaN,AlN,InN及其合金)具有较宽的带隙并可以从0.7eV连续可调至6.2eV,且它们都是直接带隙半导体,是制备光电子器件的重要材料之一,受到学术界和工业界的广泛关注。其中,铝镓氮(AlGaN)基深紫外发光二极管(DUVLED)具有体积小、寿命长、节能、环保等优点,是替代以汞灯为代表的传统紫外光源的重要光源,并在紫外固化,消毒杀菌,保密通信,医疗光疗等领域
学位
一氧化二氮作为一种氧化剂具有良好的应用前景,广泛应用于航天器推进系统和工业生产系统;而在某些化工领域(如核电站)中会形成含一氧化二氮的混合气,当出现意外点火,会引起爆炸事故的发生。因此,针对一氧化二氮支持的燃烧,研究其在不同初始条件下的燃烧特性具有重要的意义。针对上述问题,本文设计并搭建了定容燃烧弹实验系统,利用高分辨率的纹影高速摄影系统和相适应的图像处理方法,得到球形膨胀预混火焰面形态的演变过程
学位
“少年强则国强”,青少年身体素质作为评价国家人口质量、国家兴盛的指标之一,左右着国家未来发展的趋势。在我国大力发展足球的时代背景下,校园足球作为足球发展的基石显得尤为重要。尽管,我国政府采取印发系列校园足球政策、财政拨款给予倾斜等措施后宏观、中观、微观层面上都有所成效,但是,在微观层面上仍然存在一定的问题。本文利用文献资料法、问卷调查法、实地考察法、访谈法等研究方法,基于米—霍恩模型视角,对校园足
学位
重氮化合物是一类常用的有机合成试剂,能实现多种有机反应,在有机合成中起到重要作用。芳香化合物应用广,广泛存在于药物及生物活性分子、染料、农杀虫剂、功能材料以及催化剂中,已经成为人类生活和社会生产不可或缺的物质,具有巨大经济效益和社会价值。同时,芳香化合物来源丰富,是重要的石化产品,开发工业石化产物的高附加值转化方法仍然是一个巨大的挑战。本文利用重氮化合物,在催化剂的控制下,实现了芳香烃类化合物的高
学位
信用即货币,对于金融稳定、经济发展起到推动作用。党的第十九次全国代表大会提出实施乡村振兴战略后,农村金融的战略地位得到提升,利用金融渠道阻止要素流出乡村,被视为促进乡村发展的关键。但农村金融信用体系相对落后,覆盖全国的金融信用评价模型与管理体系尚未建立。在此背景下,宜都市依托“三治融合”,建立家庭文明诚信档案系统,以较低的成本帮助本地金融机构获得信用信息,并对借贷人形成约束。但在使用中,该系统暴露
学位
随着市场经济和物流行业的不断蓬勃发展,城市配送客户规模大、需求时空分散、服务网络复杂、成本高且效率低、碳排放污染严重等问题突出,无人机以其配送效率高、飞行不受制于道路条件等优势被应用于提升城市物流配送“最后一公里”效率实践,无人机辅助车辆“天地一体”的新策略是有效解决物流业难题的新手段。因此研究无人机辅助车辆配送路径优化问题在提升物流配送系统建设水平和实现物流降本增效方面有着重要价值。本文首先分析
学位