基于单目视觉的3D车辆检测与跟踪

来源 :吉林大学 | 被引量 : 0次 | 上传用户:yx2207
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
3D目标感知是自动驾驶汽车的关键,能够获得行车环境中周围的车辆、行人等目标的深度、位置与运动轨迹信息,这对于自动驾驶系统的决策和规划任务至关重要。本论文基于单目视觉传感器,面向交通场景内的车辆目标进行3D检测与跟踪。以下是具体研究内容:(1)针对3D车辆检测问题,提出了一种二阶段级联式的3D车辆检测网络。在第一阶段,基于改进Res Net-34网络设计的特征融合模块,对输入图片进行特征提取与融合;获得融合特征图后,设计了一种3D属性回归模块进行参数回归。该模块包含五个分支,分别用来回归目标2D包围盒、目标局部朝向角、目标3D尺度、底面中心投影和视角类别等五类属性。针对单阶段网络回归得到的2D包围盒不够准确影响3D定位精度的问题,提出使用级联式网络框架,进而从参数回归模块优化得到的更为精准2D包围盒。在得到上述五类目标3D属性后,针对目标3D位姿求解耗时的问题,提出了使用级联的几何约束用于求解目标位姿:首先通过回归的目标2D包围盒和底面中心投影,结合单目相机小孔成像模型,建立了相似三角形几何约束得到大致的目标深度;接着构建3D-2D透视变换方程组,并以得到的目标粗略深度值作为初值,加速数值求解速度,并最终获得目标位姿。(2)3D车辆检测与3D车辆跟踪作为感知系统中的两个主要任务,存在密不可分的联系。针对Deep Sort方法匹配过程较为复杂,同时跟踪任务依赖于前一阶段输出检测结果的问题,提出了一种基于目标相似度匹配的3D车辆跟踪方法。首先在Deepsort方法的基础上搭建跟踪基本流程,通过设置算法中的超参数如目标消亡时间、最小匹配次数、车辆置信度阈值获得基本跟踪器;然后,通过前述检测模块得到的目标3D包围盒建立初始跟踪目标集合,通过卡尔曼滤波在当前帧对跟踪集合中的目标进行更新,同时采用匈牙利算法对当前帧的检测结果和跟踪结果进行匹配;基于提出的3D车辆检测网络,对属性回归模块增加相邻帧位移预测分支,并采用先前帧的检测和跟踪结果作为网络的额外输入,从而使得3D跟踪任务和3D检测任务能够并行执行。此外,由于网络输出当前帧目标相对前一帧位移,所提出方法仅通过采用贪心搜索方式即可进行跟踪目标和检测目标的匹配,而无需复杂的数据关联方法。通过上述方式,实现了对给定图像序列中的车辆进行3D检测和跟踪。(3)本研究采用KITTI数据集和nu Scenes数据集对提出方法进行了验证。对于3D检测任务,在KITTI数据集上对准确率,深度估计误差和方法耗时进行了分析,通过实验得出3D车辆检测平均准确度为32%,对比目标方法均取得了改善。对于3D跟踪任务,通过在KITTI和nu Scenes上的实验结果进行分析,得出在nu Scenes上3D车辆平均多目标跟踪准确率为27.8%,在KITTI上3D车辆平均多目标跟踪准确率为89.5%。在两个数据集上单帧3D车辆检测和跟踪联合耗时均小于100ms。综上,本研究所提出的方法具有较好的精度与速度的综合表现,具有应用于自动驾驶汽车上的潜力。
其他文献
玄武岩纤维是一种耐高温、强度模量高、天然无污染的无机纤维,并且可再生利用,同时也是我国重点关注发展的四大纤维之一。以玄武岩纤维为原材料的产品已被广泛应用于航空航天、军工、汽车、电子和土木工程等领域。相对于单向纤维复合材料,编织复合材料力学性能更均匀,材料的整体性和可设计性更好,是一种在汽车应用领域具有很大潜力的高技术轻质结构材料。本文制备二维三轴玄武岩纤维编织复合材料试验样件,对其进行基础力学性能
3D打印钛(Ti)植入物具有出色的机械性能和良好的生物相容性,金属钽(Ta)具有优异的抗疲劳特性和化学稳定性,在生物医学领域引起了广泛关注。然而,它们都是生物惰性材料,在植入物和天然骨之间缺乏骨整合,迫切需要表面改性来改善种植体的表面形貌或化学成分以促进骨整合。本论文主要围绕选择性激光快速成型(SLM)医用钛合金Ti-6Al-4V(TC4)表面功能化展开研究,重点探索表面改性工艺对涂层生长特性、表
随着国内汽车运动的日益流行,以及大学生方程式的发展,赛车空气动力学越来越得到重视。国内的汽车品牌也开始推出运动型的性能车,企业对于空气动力学的研发不再停留在减阻上,而是通过优化空气动力学性能来提高汽车的操纵稳定性。世界一级方程式锦标赛代表了赛车以及汽车技术的尖端科技,其中空气动力学的研发是至关重要的一部分。赛车空气动力学主要通过产生足够的下压力,从而增加轮胎的附着力进而提高赛车弯道中的速度和直道末
针对降相关算法评价准则问题,研究分析了降相关算法常见的几种评价准则的理论推导,并利用目前常用的三种降相关算法对不同评价准则进行逆向验证分析。利用仿真和实测实验数据对现有的降相关算法评价准则进行研究对比分析,同时利用候选值个数作为参考项对三种降相关算法做对比分析。仿真和实验结果表明:1)降相关系数和条件数评价方法可以准确的反映出GAUSS和Cholesky两种算法的降相关性能,但是这两种评价指标很难
随着汽车行业的高速发展,全国机动车保有量日益增长,随之而来的能源紧张和环境保护问题也变得日益严重。汽车在高速行驶时会受到很大的气动阻力,而其中有一大部分的燃料就被用于克服气动阻力,因此设计理想的汽车气动造型会有助于汽车具有较低的气动阻力系数,从而提高其燃油经济性和利用率。传统的汽车外形气动优化是一个局部迭代累加的过程,依赖于工程师经验,消耗大量的人力物力且充满盲目性,导致寻优结果陷于局部最优解。为
目前全球环境现状日益恶劣,汽车尾气排放标准日益严苛,汽车轻量化已成为目前汽车界关注的焦点问题之一。在汽车材料中提升轻质合金用量,用轻质合金代替钢铁是目前减轻整车重量行之有效且立竿见影的手段之一。本课题研究材料选择由诺贝丽斯公司生产的AA6014铝合金,该类合金是目前中高端乘用车汽车外覆盖件使用的主流铝合金材料,因此有必要对其进行深入研究。将Al-Mg-Si合金置于室温下,随着时间的延长,材料力学性
随着科技的快速发展,汽车内的人机交互方式发展多样化,如今的车载HMI系统承担着触控、语音、手势及眼动等各种交互任务。车载HMI系统界面是汽车主要的驾驶信息显示平台,与汽车驾驶舒适性、安全性以及内饰豪华感、科技感息息相关。其中,色彩最具视觉冲击力,界面的色彩设计是设计流程中的重要环节,因此对车载HMI界面色彩的感知评价研究具有十分重要的意义。本课题运用眼动实验及个人色彩偏好分析筛选用户喜爱的车载HM
智能电动汽车轨迹跟踪是无人驾驶车辆运动执行的关键一步,与智能车辆的行驶安全性密切相关,对于提升无人车行驶性能,为乘客提供更好行驶体验等环节都有着至关重要的贡献。不过,轨迹跟踪相关技术的研究还存在一些亟待解决的关键问题,要达到满足人们对无人车综合性能的高要求,便需要我们不断改进完善轨迹跟踪相关技术的水平。在过往的研究里,通常是面向常规工况,采用运动学模型或纯侧偏动力学模型设计轨迹跟踪算法,然而车辆在
近年来,全无机卤化铅钙钛矿(CsPbX3,X=Cl,Br,I)作为新一代半导体材料受到了广泛关注。它们在不同领域展示了卓越的性能,包括但不限于太阳能电池、发光二极管(LED)、光电探测器和激光器。卤化铅钙钛矿量子点(HPQDs)具有窄的发射线宽、可调谐的光学带隙和宽的彩色光谱,有望成为新一代LED光源。在过去的几年中,对掺杂卤化物钙钛矿的认识有了爆炸式的增长,与未掺杂的钙钛矿相比,掺杂卤化物钙钛矿
随着国家经济的快速发展以及国民日益增长的能源使用需求,石油和天然气的运输成为至关重要的国家安全问题。X80管线钢作为一种兼具经济成本和使用性能的优异管道用钢已经大量运用于我国石油和天然气运输管道中。因此,X80管线钢在服役期间的安全性和完整性是管线工程技术人员的首要考虑问题。而管道在服役期间可能遭受来自环境的退化作用以及应力波动带来的疲劳破坏。因此,对X80管线钢尤其是其结构中最为薄弱的焊接接头在