基于点云分割的家庭环境三维物品级语义地图构建

来源 :山东大学 | 被引量 : 0次 | 上传用户:Elf_nastia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着服务机器人技术不断提高,家庭服务机器人正在逐步走入人们的生活中。作为家庭服务机器人的基础,基于SLAM(Simultaneous Localization and Mapping,实时定位与建图)技术构建的度量地图可用于执行基本的导航任务,但面向包含高层语义信息的家庭服务任务的执行时,机器人无法理解语义信息,难以应用度量地图执行相应指令。为此,在传统SLAM技术基础上,融合基于深度学习的物品检测与实例分割技术,构建既能够表达环境信息又能包含实例物品语义信息的物品级语义地图成为新的研究热点。本文主要完成如下工作:为解决家庭环境存在的动态物品影响地图精度的问题,研究了基于动态场景处理的三维稠密点云地图构建。对于家庭环境中存在的动态物品,提出运用神经网络和传统动态检测方法实现对动态物品的剔除,采用基于YOLOv5模型构建的轻量化物品检测网络及动态物品数据集通过对极约束对家庭环境常见动态物品进行检测,而对不在该数据集中的环境物品采用金字塔LK光流法进行动态检测,并对检测出的物品动态特征点进行剔除,从而提高地图精度。同时针对稀疏点云地图不适用于三维场景重构问题,提出对基于动态场景处理模块的ORBSLAM3系统添加稠密点云地图构建线程,从而实现三维环境地图重建。为获取实例物品的三维语义信息,研究了通过三维边界框投影的物品语义信息提取方法。针对物品点云提取,提出运用RANSAC平面提取算法进行稠密点云的平面检测从而获取物品点云,并针对该算法受阈值影响引入了自适应阈值策略。针对点云团三维信息获取,采用基于密度的DBScan聚类分割算法将物品点云分割为子点云团的集合,并针对原始算法中搜索临近点较慢的特点利用KD树加速此过程,从而快速获取每个点云团的三维信息。通过点云团获取的三维边界框进行投影所得二维边界框,与运用Mask RCNN深度学习网络获取的二维边界框进行相似度比对,从而获取实例物品的三维语义信息。为构建有利于服务任务执行的物品级语义地图,采用稠密点云地图与三维语义信息融合的方式研究了物品级语义地图构建方法。针对语义信息的存储,构建了实例物品语义数据库对其进行存储与更新。对数据库中的实例物品按照类别采用不同颜色进行区分,并将实例物品信息融合到稠密点云中,实现静态稠密点云地图的语义信息关联,同时针对点云占用空间较大等问题,构建了包含物品三维边界框的物品级语义八叉树地图。最后对本文提出的物品级语义地图构建方法在TUM数据集中的静态、动态序列数据集及实验室模拟家庭场景进行实验验证。实验表明,本文方法能够有效提取家庭场景下环境物品的三维信息,并提高语义地图构建精度。
其他文献
大气细颗粒物(Fine Particulate Matter,PM2.5)作为当前最重要的大气污染物之一,能够对人体健康、辐射平衡和全球气候产生深远影响。沿海地区是位于陆地和海洋之间的特殊地带,大气颗粒物的化学组分和光学特性因受到多种污染源的相互作用而极具独特性和复杂性。然而,当前对沿海地区PM2.5研究的不足阻碍了对气溶胶组分、理化特性及源汇机制的全面认识,难以准确评价大气气溶胶的环境和气候效应
学位
随着全球范围内环境污染问题日益严峻,发展节能环保的新能源汽车成为汽车产业发展的主要方向。其中,插电式混合动力汽车(Plug-in Hybrid Electric Vehicle,PHEV)融合了纯电动汽车低排放以及传统内燃机汽车长续驶里程的优势,成为我国新能源汽车“三纵三横”研发布局中的重要发展方向之一。能量管理策略作为PHEV关键技术之一,其通过在发动机和电动机之间优化分配功率流,从而实现整车高
学位
介绍了农业机械自动化的应用和农业机械自动化维修技术,探讨了农业机械自动化应用与维修管理的强化措施。
期刊
在国家碳达峰和碳中和目标以及新型电力系统建设的要求下,我国风电渗透率逐年提高。而风电转子转速与系统频率解耦,且同步机数量减少导致系统惯量降低,仅依赖传统同步机承担系统调频任务已不能满足频率安全的要求,电网频率安全遇到了挑战,因此系统要求风电具有一定调频能力。同时风电机组桨叶中蕴含着可观的转子动能,调频经济性较高,有潜力成为未来电力系统的调频主力。抽水蓄能因其具有经济性优、可大规模发等特点是十分优秀
学位
直流充电系统是电动汽车的重要支撑系统,是解决“充电难”、“充电慢”和实现电动汽车进一步推广发展的关键条件。直流充电系统多为两级式结构,即前级AC/DC+后级DC/DC,其中,后级DC/DC变换器与电动汽车动力电池直接相连,是直流充电系统的核心组成部分,对充电系统性能、安全和可靠性都有重大影响。LLC谐振变换器因具有软开关范围广、功率密度高、EMI干扰小等优势,多被应用作为后级DC/DC拓扑,在电动
学位
随着社会的发展和人类活动范围的扩大,抗生素等有机污染物近年来在水环境中被广泛地检测出来,给人类健康及生态环境带来了极大地威胁。作为一种新型的高级氧化方法,等离子体水处理技术综合了活性粒子氧化、高能电子轰击、光催化及强电场电解等多方面作用,具有反应迅速、非选择性、处理效率高、无二次污染等优点。目前已经在实验室条件下对其进行了深入探究并实现了局部范围的应用。然而能耗高、产物不明确等缺点限制了等离子体水
学位
随着现代工业的巨大进步,传统燃油车发挥着不可磨灭的作用,但同时也带来了能源危机和环境污染等问题,节能减排的呼声越来越高。新能源汽车是我国发展的重点领域,也是实现“碳中和”目标的重要手段。目前,电动汽车(Electric Vehicle,EV)是新能源汽车的发展主流,前景广阔。锂离子电池作为电动汽车的能量来源与储能装置,易受环境温度影响,特别是低温环境下电池性能急剧下降,电动汽车续航里程大打折扣,严
学位
随着社会的发展与科技的进步,家用机器人被越来越多地投入到人们的家庭生活。近年来,用户对于生活质量的要求逐步提高,导致服务需求愈发复杂,环境布局愈发多样。面对复杂多样的服务需求与家庭环境,如何通过用户自然语言请求获得详细具体、贴合环境的任务流程相关文本描述,即服务策略,是家用机器人提高服务质量的关键所在。因此,本文对面向家用机器人的环境适应性服务策略进行了相关研究,提出任务解析-策略生成-优化验证框
学位
手语是聋哑人与社会交流的主要方式,它以视觉为媒介,主要包括人的手势、身体姿势和面部表情等,通常以视频的形式展示和收集。视频手语识别旨在将手语视频转换为单词(孤立词手语识别)或句子(连续手语识别),以促进普通人与聋哑人之间的沟通交流。此外,随着机器人技术的发展,手语识别在人机交互中的应用也引起了学者的广泛关注,如面向聋哑人的机器人服务认知。手语识别存在以下难点:(1)手语动作的正确识别依赖于对手语视
学位
芳香族化合物(Aromatic Compounds,AC)是分子中含有苯环的碳氢化合物的总称。动物植物体、煤炭和石油生产及人工合成等过程都可以产生芳香族化合物。它们结构稳定,不易分解,且毒性很强,可对环境造成严重的污染,危害人类健康。芳香族化合物部分是合成有机的重要中间体和原料,其中许多产品已被广泛用于生产医药、农用化学品、染料、香料、各种添加剂、工程塑料和功能性聚合物,部分是在高温和热解过程中无
学位