【摘 要】
:
三维目标检测与跟踪作为自动驾驶感知模块中的核心任务需要在识别物体类别的同时检测出物体在三维空间中的位置、大小、朝向和速度并输出物体历史轨迹,从而为下层的预测和决策模块提供依据。激光雷达和相机作为智能汽车感知系统中两种常见的传感器可以为三维感知任务提供不同的模态支持。激光雷达生成的点云可以提供准确的深度和几何信息,但是点云具有稀疏性且只能提供形状信息,在面对远小或形状缺失的物体时,描述能力不足。相机
论文部分内容阅读
三维目标检测与跟踪作为自动驾驶感知模块中的核心任务需要在识别物体类别的同时检测出物体在三维空间中的位置、大小、朝向和速度并输出物体历史轨迹,从而为下层的预测和决策模块提供依据。激光雷达和相机作为智能汽车感知系统中两种常见的传感器可以为三维感知任务提供不同的模态支持。激光雷达生成的点云可以提供准确的深度和几何信息,但是点云具有稀疏性且只能提供形状信息,在面对远小或形状缺失的物体时,描述能力不足。相机生成的图像规则且稠密,可以提供丰富的纹理和颜色信息,但是丢失了深度信息,难以实现高精度的三维定位。可见,单一传感器很难满足智能汽车对感知系统精确性和鲁棒性的需求。基于多传感器的多模态融合感知是未来发展趋势,也是当下研究的热点。传统的传感器融合主要采用结果级的后融合,并没有充分发挥融合优势。因此,本文致力于将点云与图像信息进行深度融合,以充分挖掘二者在融合中的优势,提高三维目标检测与跟踪的精度。本文主要研究内容包括以下四部分:(1)点云与图像输入层融合三维目标检测算法研究针对点云稀疏、面对远小物体难以检测的问题,本文提出了一种在输入层利用图像实例分割结果稠密化点云并增强语义的前融合方法Mask Densing。本文首先将真实点云投影到掩码图像上并在有效掩码部分采集虚拟点,然后以最近真实点作为其对应深度,进而根据激光雷达与相机间的投影矩阵逆向生成虚拟点云实现点云前景稠密化并将掩码对应类别信息以独热编码的形式加入点云实现语义增强。为了克服硬体素编码的信息丢失并减少计算量,本文引入了动态体素编码并增加体素几何编码以平衡类别和几何维度。在nu Scenes数据集上进行实验,结果表明本文所提出输入层融合算法相比于基线算法对各类别的检测结果均有提升,尤其针对远距离和小目标物体提升效果显著。(2)点云与图像特征层融合三维目标检测算法研究针对点云与图像输入层融合无法充分挖掘图像上下文特征的问题,本文提出了基于Transformer架构的点云与图像特征层融合算法Deform Fusion。在点云分支提出了用分类辅助监督产生热点初始化物体查询的热点解码器,有效解决Transformer收敛速度慢的问题。在特征融合过程受可变形思想启发,提出可变形空间限制特征聚合模块,以点云分支初始检测结果为参考点,通过可学习偏移量自适应的聚合图像特征。在nu Scenes数据集上进行实验,结果表明本文所提出特征层融合算法优于输入层融合算法,消融实验也表明Transformer架构和点云与图像特征层融合的优势。(3)点云与图像混合融合三维目标检测算法研究针对本文所提出的序列式点云与图像特征层融合算法过于依赖第一阶段点云初始检测结果的问题。本文利用输入层融合算法易于嵌套的特点,结合二者优势提出了一种在输出层与特征层混合融合的三维目标检测算法Mix Fusion。在第一阶段利用输入层融合算法提升点云检测的召回率,然后通过第二阶段特征层融合进一步优化检测结果。在nu Scenes数据集上进行实验,结果表明混合融合算法优于纯输入层融合算法和纯特征层融合算法,验证了本文所提出的混合融合算法的有效性与优越性。(4)点云与图像融合的三维目标跟踪算法研究针对先前三维目标跟踪任务中标识频繁变换问题,本文利用Mix Fusion的高精度三维目标检测结果并结合点云与图像融合特征提出多模态融合三维目标跟踪算法Deep Track3D。在运动模型上,本文采用卡尔曼滤波算法并进行三维扩展,在数据关联模块中提出融合点云与图像语义特征和三维边界框几何特征的级联匹配策略以及基于3D GIo U的几何匹配策略,在生命周期管理模块中提出两阶段生命周期管理策略以保持跟踪持续性。在nu Scenes数据集上进行实验,结果表明本文所提出的点云与图像融合三维目标跟踪算法优于之前的算法。
其他文献
随着我国经济发展主动降速,依靠人口红利和传统“三驾马车”拉动的经济增长模式已不再适应新时代的可持续发展要求,探寻高质高效的新发展路径中,数字经济的兴起为我国经济转型和高质量发展提供了重要机遇。因此,研究数字经济在经济高质量发展过程中所起到的作用对推进我国经济实现高质高效发展具有重要意义。本文以2011-2020年为研究范围,我国除西藏和港澳台地区的30个省级行政单位为研究对象,对我国数字经济与经济
进入信息时代,一种新经济的出现对各国经济社会发展、人民生活产生了深远影响。党的十八大以来,我国高度重视数字经济的发展,并运用数字经济持续发力,助推我国高质量发展。近年来,我国逐渐形成以服务业为主导的经济结构,目前,在国内生产总值中,第三产业增加值所占的比例逐年上升,第三产业对我国经济发展来说至关重要。因此,抓住数字经济带来的技术红利,使其与服务业融合发展,可以促进服务行业的转型和升级,促进经济结构
商业银行是经营货币的企业,按照业务类型可以分为对公业务和个人业务。对公业务主要服务对象为公司或单位,个人业务服务对象为个人。对公业务历来是银行业务发展的基石,也是银行收入的主要来源。但近年来,我国银行业在监管持续趋严、金融脱媒的背景下,传统业务市场被挤占、优质对公客户流失等问题日益凸显。同时,受全球经济低迷和新冠疫情影响,银行为实体经济减负、减费让利、资金成本上行等政策压力使得对公收益不断收窄,就
近几年,我国交通业发展迅速,交通发展水平不断提高,基础设施建设运营成绩显著。数据显示,我国已有约25万个路口、400万公里路段,公路基础建设极大方便了人们的出行生活,也增强了道路运输服务能力,促进了社会经济发展。但随着城市规模不断扩大,城市人口和车辆数量急剧增长,交通拥堵系数不断升高。同时,各类交通违章、交通事故频发,尤其在城市干道交叉口、人车混行路段情况更为严重,进一步加剧了城市道路的拥堵,降低
本文就文艺战线展现文化自信、以历史主动的精神投身社会主义文化强国建设的路径进行了梳理和归纳,认为各级文艺组织和广大文艺工作者要从三个方面做起。一是以理论清醒保持政治坚定,强化文化自信捍卫“两个确立”的主动自觉。二是以价值引领提升文化自觉,激发文化自信砥砺文艺理想的责任担当。三是以时代主题统领工作课题,彰显文化自信赋能高质量发展的独特作用:坚持以文化人,在助力乡村振兴中展现新作为;坚持以文塑旅,在推
<正>近年来,诸多弘扬中华文化的优质文艺作品次第涌现,《唐宫夜宴》《长安十二时辰》《风起洛阳》等蕴含了浪漫悠久的东方美学品格,《觉醒年代》《山海情》《功勋》等塑造了生动饱满的英雄形象……这些彰显了文化自信的影视艺术作品,有效助力了中国之美的传播。近期,动画电影《雄狮少年》中“宽眼距、吊梢眼”的主角造型引发争议,与此相类似的,某产品广告中的“眯眯眼”造型以及部分摄影作品中模特造型等,均被置于广泛讨论
环境感知技术是支撑智能汽车发展的重要基础。感知模块的作用是得到周围目标物的详细信息,包括类别、距离等。常用传感器中,摄像头擅长检测目标类别,激光雷达便于检测3D位置,但检测类别信息不够丰富,将二者融合可实现优势互补。感知模块得到的目标物信息是决策和规划模块的输入,因此感知算法需要准且快。目前融合感知算法常存在实时性差、难于在嵌入式设备上部署等缺点,全面提高融合感知的实时性和准确性是一个值得研究的课
三维目标检测技术是数字图像处理领域的关键问题,在军事、工业等领域有着广阔的应用前景。深度学习是一个复杂的机器学习算法,通过对样本数据的内在规律进行学习,获取样本的深层次特征,进而更好的完成对样本的解释。近几年来,得益于基于点云和双目视觉的三维检测算法的发展,三维目标检测结果的精度得到显著的提高。然而,点云需要昂贵的激光雷达设备获取,双目成像设备的架设场景要求较高,且在工业应用方面,成本较高。因此,
高考标准的制订,使得高中生物课堂教学模式和课堂教学手段的优化和创新就显得尤为重要。对高中生物学科知识而言,学科知识关联度较大,生物知识的“归纳总结”和“串联学习”具有重要意义。项目驱动能够让学生在生物学习过程将教师的知识教学和技能教学作为学习项目,并在项目驱动之下进行“归纳总结”“融会贯通”“高效学习”,构建高中生物知识体系,强化自己对生物知识、生物理论、生物概念的认知。