科学技术的发展与关键技术的突破往往会解决相关领域内的重要科学问题,从而带动社会经济的蓬勃发展。得益于近些年深度学习技术的快速创新,许多传统技术无法攻克的问题正在不断被解决,同时硬件技术的革新和大规模数据的出现有助于深度学习在计算机视觉领域取得突破性的进展。在人工智能时代,无人驾驶车作为新时代人类出行的交通工具,其相关技术有着极其重要的研究意义。本文主要针对无人驾驶中复杂道路场景下的三维感知任务提出解决方案,工作重点主要包括两个方面:检测和追踪。对于检测任务,本论文对基于深度学习的3D物体检测算法进行深入研究,在激光雷达采样的点云数据表征方面设计了具有局部信息的综合特征,在3D物体检测方面提出了拥有自相关注意力机制的深度学习模型(SCANet)。对于追踪任务,本文使用卡尔曼滤波以及匈牙利匹配算法对道路上检测到的障碍物进行运动状态的估计以及运动轨迹的关联。本文的主要研究内容以及创新点如下:(1)针对现有3D物体检测技术中对于点云数据的表征信息挖掘不充分的问题,本文提出了一种新的特征设计方法,首先将点云数据转化为3D体素网格形式,然后通过对每个网格的水平角度编码引入了局部方向信息,最后将局部信息和全局信息综合得到新的点云表征。(2)为了更好地解决微小及遮挡物体的检测问题,本文考虑了激光雷达(LiDAR)采集到的点云数据和摄像头(Camera)采集的图像信息,在这两种不同模态数据融合过程中引入了一种新的自相关注意机制,设计了具有自相关注意力模块的深度学习模型,该模型旨在充分挖掘点云和图像的空间及外观信息,发掘互补信息以进一步消除模态鸿沟。最终在KITTI基准数据集上的实验结果表明,本文提出的方法获得了3D物体检测性能上的提升。(3)为验证本文提出的深度学习模型的有效性,经过对模型的压缩将其应用在自动驾驶中障碍物的检测上,用卡尔曼滤波算法和匈牙利图匹配算法对道路上检测到的障碍物进行运动状态的估计及运动轨迹的关联,在ROS平台上实现了多目标追踪的渲染和演示,仿真实验结果展示了本文所用模型和算法在多目标检测和追踪上的有效性和鲁棒性。