基于神经网络的激光雷达点云时空域编码方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:vsrabbithhf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,激光雷达(Light Detection and Ranging,LiDAR)逐渐成为诸多实际应用中不可或缺的一部分,例如自动驾驶汽车,移动机器人,无人机等。LiDAR可以精确地获取周围环境的三维表征,即三维(Three Dimensional,3D)LiDAR点云。LiDAR点云由点的几何信息(三维坐标)和对应的属性信息(反射强度)构成,具有稀疏、无序、大数据量的特点。以常用的激光雷达Velodyne HDL-64E为例,其每秒钟产生的点数高达两百多万个。传输及存储如此海量的数据,无疑给有限的网络带宽和存储设备带来巨大的压力,从而极大地阻碍了 LiDAR相关应用的发展和点云相关技术的落地。因此,探索如何高效地编码LiDAR点云成为学术界和工业界亟需解决的问题,具有重要的研究及应用价值。LiDAR点云时空域编码研究主要包含帧内预测与帧间预测两个方面。其中,前者旨在基于当前帧内几何和属性信息的相关性进行预测,从而去除点云的空域冗余;而后者则旨在基于连续帧之间几何和属性信息的相关性进行预测,从而去除点云的时域冗余。本文研究了点云几何信息的帧内预测、帧间预测以及浮点编码三个方面的关键技术,并取得了一些初步成果。这些研究成果已在自动驾驶的同步定位与建图任务中得到了初步的应用,有效地减少了点云数据传输和存储的成本,并提高了定位的性能。具体地,本研究的主要内容包括以下几个方面:1.基于语义先验表征的LiDAR点云空域编码框架。构建适用于实际应用的LiDAR点云编码框架主要面临以下3个挑战:基于树的表征方法对于稀疏的LiDAR点云来说较为低效、现有算法忽略了机器感知性能以及如何在不引入过多计算复杂度的情况下,将神经网络模型集成到点云压缩框架中并进一步提高编码效率。针对上述挑战,本文提出了一种基于语义先验表征的LiDAR点云空域编码新框架。通过采用数据降维(点云的2D距离图表征)降低后续处理的计算复杂度并去除了部分表征冗余。一方面提出了一种语义先验表征,通过对2D距离图进行实例分割获取语义标签作为指导帧内预测的先验信息,进一步提高帧内预测的效率。通过对语义先验表征而非对点云的三维坐标进行编码的方式,降低了编码数据量从而提高了编码的效率。另一方面设计了一种机器感知模式,可基于语义信息去除对解码端定位不利的点,从而提高解码端的定位性能。同时,结合语义先验表征编码器,能够保留数据在实际应用中所需的高精度,实现LiDAR点云的编码性能以及在实际应用中SLAM定位性能的大幅提升。2.基于2D流估计的LiDAR点云帧预测算法。由于LiDAR点云稀疏、无序的特点,其在3D空间内的运动估计和运动补偿是一个较难的问题,目前业界仍没有一个较为成熟的解决方案。为了解决该问题,提出了基于2D流估计的帧预测模型。结合3D LiDAR点云的2D距离图表征,通过设计面向稀疏距离图序列的流估计器实现运动估计,从而基于双向距离图和流信息合成中间帧。之后,通过逆映射以实现3D点云的双向帧预测。3.基于3D时空卷积的LiDAR点云帧预测算法。基于2D流估计的方法仍存在着以下问题:(1)忽略了场景中物体的特征分布,导致普通卷积特征提取低效;(2)过度依赖流估计的质量,导致算法鲁棒性差;(3)LiDAR距离图序列的时域关系比视频弱,导致流估计低效;(4)流估计算法计算复杂度较高,导致帧预测模型很难和点云编码框架实现有机的结合。针对上述问题,提出了一种轻量级的基于3D时空卷积的LiDAR点云帧预测模型。首先,针对挑战(1),通过引入非对称残差块以更好地提取实际场景中物体的空域特征。其次,针对挑战(2)(3)(4),引入3D时空卷积以学习LiDAR图序列的时域特征并进一步融合时空域特征,从而快速准确地合成预测帧,并提高了算法的鲁棒性。4.基于双向帧预测的LiDAR点云时空域编码框架。现有的方法通常仅考虑LiDAR点云的空域冗余和信息熵冗余,忽略了时域冗余。其次,LiDAR点云实际应用场景的实时性需求加大了时空域编码的难度,即要求编码算法在保证数据保留一定精度的同时,还能实现较快的运行速度。再者,现有的基于2D域的编码方法大多采用图像/视频编码器进行编码,忽略了 LiDAR点云2D表征与普通图像在特征分布和像素精度上的不同,从而导致编码效率较低。为解决上述难题,首先,基于所提出的轻量级LiDAR点云帧预测模型进行改进,从而实现帧间预测。其次,提出了一种距离自适应的浮点编码器,能够基于输入浮点数的特征分布进行自适应的编码,实现快速准确地编码距离图的相关数据,从而联合地去除数据的空域冗余和信息熵冗余。整个框架将之前的研究工作有机地结合在一起,实现了实时地去除LiDAR点云的时域、空域和信息熵冗余,同时进一步提高了解码端SLAM的定位性能。
其他文献
武汉市人民政府办公厅文件武政办[2021]19号各区人民政府,市人民政府各部门:《武汉市加快推进武汉云建设实施方案》已经市人民政府同意,现印发给你们,请认真组织实施。2021年3月9日武汉市加快推进武汉云建设实施方案
期刊
文化创意产业作为一种新型产业逐渐受到世界各国政府的重视和扶持,伴随着传统房地产开发商对产业园区的大量投资和建设,文化创意产业园区在此背景下相继产生。文化园区具有的知识外溢效应和聚变效应直接关系到一个城市是否能进行城市功能的优化和产业转型升级。本文通过使用描述性研究法和功能分析法对中国文化创意产业园区的发展模式和路径进行研究,这对我国文化创意园区的发展具有重要的指导和借鉴意义。
自国家进行文化体制改革以来,图书出版行业的发展结构不断优化和调整,出版单位经营结构形式发生根本性改变。通过与现代媒体产业链和各种行业的融合,推动图书出版业的现代化发展。文化创意产业中的图书出版行业致力于实现数字化阅读模式,提升图书的附加值,增加书籍资本的应用。一、文化创意产业的概述1、概念对于文化创意产业,国内外学者还没有给出一个明确的定义。不同的学者基于不同角度分析,出现不同的解释。总的概述来说
期刊
信号调制识别分类无论在军事还是民用领域都有着重要作用,利用机器学习进行自动调制识别更是具有重要应用价值。随着当今社会计算机性能和机器学习领域技术的不断发展,基于机器学习的信号调制识别分类领域有了突飞猛进的发展,如何进一步提高现有的识别分类模型的准确率是如今调制识别领域的重要课题。本文对现有的深度学习网络进行实验分析比较,并利用PSO(Particle Swarm Optimization,PSO)
目的 解决目前水露点数据多为人工采用测量仪器测得,时效性低且成本高昂的问题。方法 建立一种基于极端梯度提升(XGBoost)和随机森林(RF)的天然气水露点预测方法。采用XGBoost方法对所有监测工艺参数进行分析,筛选出主要影响水露点的关键工艺特征参数,以排除无关特征参数对预测的干扰。建立RF预测模型,输入关键特征集参数,实现对水露点的实时预测。以重庆气矿某脱水监测系统监测数据与生产数据为例,对
课文《伯牙鼓琴》选自《吕氏春秋·本味》,讲述了当伯牙想着高山、流水鼓琴时,锺子期总会相应地从伯牙的琴声中想到巍峨的高山、浩荡的流水,二人在乐理方面相知相近。当锺子期死后,伯牙摔琴断弦,终身不再弹琴,只因为不再有真正的知音。作者用短短的83个字,淋漓尽致地展现了伯牙和子期心心相印、志念相投的高洁情怀和真挚情意,成为"知音"的经典代表。
期刊
一、导入课题,理解课题师:同学们,让我们一起来欣赏一段音乐。(播放《高山流水》古琴曲)师:有谁知道这首曲子的名字?生:《高山流水》。师:这首曲子就是著名的《高山流水》。在这个曲子的背后流传着一个动人的故事,我们今天要学的这篇文言文,讲述的就是这个故事。来,我们一起写下这个故事的名字——《伯牙鼓琴》。(板书课题)师:同学们预习了课文,你对伯牙了解多少?生:伯牙非常善于弹琴。
期刊
一、谈话导入师:同学们好!生:老师好!师:今天我们来学习一篇文言文——《伯牙鼓琴》。我想问问大家,以前你们学过很多篇文言文,要把文言文学好,有什么好方法吗?生:查找它自己本身的意思。师:可以来看看它的意思,也就是了解文章的意思,对吗?你用什么方法了解文章的意思?生:在网上或者资料书上查找。师:查阅相关的资料是个不错的方法。生:我觉得在了解文言文之前我们应该先把文言文读熟,把字音读准,然后再通过注释
期刊
一、直接导入,初识"知音"1.聚焦"知音",齐读课题。师:同学们,像这样很了解自己,和自己有共同爱好的人就叫作"知音"。今天,陆老师要和大家一起穿越到两千多年前的春秋时期,一起走进一段感人至深的故事。请大家齐读课题。(出示"伯牙鼓琴",生齐读)2.理解题意,导入新课。师:谁能说一说题目的意思?
期刊
目的 探讨超声引导下勾刀治疗成人“扳机指”的效果。方法 选择2019年6月~2020年12月在绍兴市中医院治疗的“扳机指”患者80例为研究对象,随机分为观察组与对照组,每组各40例。对照组采用外科手术治疗,观察组采用超声引导下勾刀治疗。比较两组治疗前后的VAS评分、狭窄部位腱鞘厚度、肌腱厚度、肌腱横截面面积及临床疗效。结果 两组治疗后VAS评分均呈显著下降趋势,与治疗前比较,差异有统计学意义(P0