基于点云与图像多模态融合的三维目标检测

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xcumuhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维目标检测是计算机视觉的关键技术问题,是自动驾驶环境感知系统的重要任务之一,其目的在于通过摄像头、激光雷达等多传感器从周围环境收集数据并提取相关知识,以实现三维场景下的目标识别与位姿估计。相较于二维目标检测仅通过图像信息实现二维空间中的目标识别与定位,三维目标检测在多模态特征提取与融合、模型训练与标注数据处理等方面存在更大的挑战。一方面,基于单图像或纯激光点云的检测算法已难以满足复杂场景的鲁棒性需求。图像数据容易获取且纹理信息丰富,但缺少目标的三维数据信息;激光点云能够快速地获取目标的三维数据信息,但缺少纹理以及颜色等信息。另一方面,基于点云与图像多模态融合的三维目标检测在网络设计和数据标注上具有更高的复杂度。针对上述的问题,本文围绕点云与图像的多模态特征提取与融合、边缘场景有限样本下的模型设计与数据处理,完成了以下工作:(1)基于多模态特征融合的多任务三维目标检测算法。为了实现多模态数据的优势互补,本文以EPNet网络结构为基础,设计多任务三维目标检测算法。首先,在点云预处理过程中增加基于真值框的点云数据增强,在保证点云与图像一致性的前提下丰富同一个目标的点云表征;其次,在点云与图像特征融合过程中,对于每一个三维点,通过多点融合策略融合其点云特征与对应的图像特征,减少噪声点污染,增加图像全局信息;再次,实现多分类的三维目标检测,从而可以同时检测不同类别的目标;最后,本文设计了基于无锚框的二维目标检测头,构建多任务三维目标检测网络,从而更有效引导图像特征提取。实验结果显示,本文方法在KITTI验证集汽车、行人、骑车的人三个类别上取得71.89%的平均精度。(2)边缘场景有限样本下的三维目标检测。针对应用中常见的计算资源、存储空间不足以及有标签数据有限的场景,本文对所提出的多模态融合的多任务三维目标检测算法在网络设计与标注数据处理上进行改进。首先,为了减少模型参数量,加速前向推理时间,本文对多模态融合网络进行轻量化;然后,为了充分利用数据集中的无标签数据,本文提出了基于动态阈值的噪声标签学习方法,提升网络性能。最后,本文设计并实现了面向三维噪声标签的标注系统,能够实现点云与图像的快速数据标注,简化数据处理流程。
其他文献
电磁感应薄层作为一种新型路面养护技术,将电磁感应技术应用于超薄罩面中,具有促进混合料加热愈合、快速修复病害等作用,应用前景广阔,对其研究方兴未艾。现阶段,该技术在电磁感应薄层的加热性能、路用性能、破坏愈合效果以及性能优势评定等方面仍需要深入研究。鉴于此,系统开展电磁感应薄层的混合料组成设计、性能研究与养护效果评价,具有重要的现实意义。本文选用钢棉与钢珠作为导电相材料,赋予Nova Pave超粘精罩
学位
随着信息化浪潮席卷全球,电子产品总量急剧攀升。加之技术创新节奏加快,电子产品使用周期缩短,淘汰速率也在不断提高,巨量电子废弃物随之产生。其中对于废旧电路板(WPCB)非金属粉末的不当处理所导致的环境污染以及资源浪费问题,已经成为世界可持续发展道路上的严重阻碍。另一方面,我国交通运输压力逐年增大,路面性能衰减加快,道路工程建设养护成本不断上涨。为贯彻绿色可持续发展理念,本研究将WPCB非金属粉末应用
学位
惯性释放技术适用于模拟无约束结构力学问题,国外各大商业有限元软件均具备惯性释放功能,但在由我国船舶行业人才开发出的专用船舶结构有限元程序中,难以见到该功能的“踪影”。船舶静止在水中时,重力与浮力平衡,处于自由无约束状态,这是真实世界中船舶的受载状况和边界条件。但在有限元分析中,由于在载荷施加的过程中存在误差和近似,整船模型的力系难以达到绝对平衡。此时若按照传统方式求解,不平衡外载荷对结构产生的影响
学位
交通状态检测是利用交通感知技术获取交通状态参数的技术,旨在为交通控制与管理提供数据支撑。现有的交通状态检测手段存在监测范围有限及成本高的弊端,因此寻找一种低成本、监控范围广的交通状态检测方式具有重要意义。本文结合机器视觉算法研究适用于城市快速路的无人机交通状态检测方法,旨在克服无人机自运动特性的不利影响,并充分发挥无人机成本低、轻便灵活及视野广的优势,主要工作如下:1、无人机车辆检测数据集构建本文
学位
目前多高层木结构建筑受到越来越多的推崇,梁柱式木框架则是其中最常用的结构体系之一。在梁柱式木框架中,木支撑能显著提高结构的抗侧刚度和承载能力,但是节点容易发生木材劈裂和螺栓剪切破坏,而且其耗能能力一般,在结构发生大变形时不能提供足够的延性,导致结构构件的脆性断裂。本文针对上述问题,在梁柱式-支撑木框架中引入制作安装简便、耗能效果良好的摩擦阻尼器,主要进行了以下研究内容:(1)提出一种新型摩擦阻尼木
学位
随着人工智能技术在交通领域的应用,自动驾驶车辆在目前乃至今后数十年都将会改变传统“人、车、路”三大基本要素之间的关系,成为智能交通系统发展的热点。环境感知是指通过各种不同类型的传感器快速准确的获取到道路交通场景中的环境信息,其是自动驾驶车辆进行路径规划和行为决策的主要依据,是实现自动驾驶的基本前提。相较于激光雷达等其它传感器,摄像机的经济效益高、灵活性强,因此视觉环境感知逐渐成为主要的研究方向。由
学位
高速公路合流区作为一种连续流性质的交通设施,一方面提高了路网的通达度和路网的运行效率,另外一方面也造成了多股车流汇集,产生了大量的换道冲突。研究表明,高速公路上有近四分之三的交通事故直接或间接与合流区内频繁的轨迹交叉和换道冲突有关。因此高速公路合流区的运行质量与高速公路路网的运行效率和运行安全性存在着密切的联系。利用交通冲突技术进行高速公路合流区的安全分析依赖于大量的车辆轨迹数据。人工的车辆轨迹数
学位
车辆路径问题是研究如何在给定的道路交通环境下合理规划行驶路线实现运输效率最高和成本最小的一类优化问题,已经广泛地应用于物流运输、应急救援、公交调度等各学科领域,并产生巨大的社会效益和经济价值。当前,因种种原因,各类突发事件层出不穷,使得应急救援保障成为各大城市的焦点问题。效率是应急救援管理的首要优化目标,是及时控制事件态势恶化、保障人民生命健康和财产安全的关键。然而,在现实城市路网中经常出现自然灾
学位
面对日益严竣的全球气候问题,世界各国都在大力发展清洁低碳的新能源以减少对化石能源的依赖,我国提出了“力争2030年前实现碳达峰、2060年前实现碳中和”的“双碳”战略目标。涡致振动水生清洁能源(VIVACE)系统利用柱体的流致振动特性将海洋流的能量转化为电能,是一种安全、高效、经济效益高的集能装置。为了提高VIVACE装置的能量收集效率,本文利用被动湍流控制技术(PTC)和非线性弹簧,以增强圆柱的
学位
随着科学技术的进步,人们的生产生活方式发生了翻天覆地的变化,近几年人工智能的飞速发展就引发了一场零售行业的变革,随之衍生出“新零售”、“智慧零售”等概念。智能售货柜就是其中一种具有代表性的新零售方式,它结合移动支付、计算机视觉等技术,对传统的无人售货柜进行升级改造,使用户通过扫码、开门、选取商品、关门这四个步骤便可轻松完成购物。目前,智能售货柜系统的主流发展方向是基于动态视觉的识别方案,它在用户使
学位