近些年,随着自动驾驶技术的迅猛发展,智能车将会慢慢普及到人们的生活中。车况复杂的城市环境是无人驾驶领域重要应用场景之一,这种环境中存在小目标难检测和车辆密集遮挡的问题,严重影响感知效果。为了保证智能车自主规划决策和安全行驶,本文融合相机的图像信息和激光雷达的点云信息,设计了高效准确的车辆检测跟踪算法,有效感知周围其他车辆的三维位姿信息、运动状态和轨迹。本文的实验数据有两个来源:第一个是KITTI目标检测与跟踪公开数据集,第二个是采用实验车平台所采集的上海城区道路场景。下面将从三个模块介绍该车辆感知算法。首先是基于图像的2D目标检测模块。针对目标尺度变化大的问题,提出了一种高效多层次的两阶段卷积网络检测器。该网络在第一和第二阶段分别使用了特征融合策略和多层次对齐策略共同解决小目标检测的难题。其中,本文提出的多层次对齐策略能有效地保留多层次的空间位置信息,从而促进多尺度目标检测。该算法在KITTI排行榜上取得优异效果,并通过实际场景对比验证了对小目标检测的有效性。然后是3D目标检测模块。针对车辆密集遮挡问题,引入了融合图像特征和点云俯视图特征的检测方案。本文提出了一种基于视角转换融合方法的3D目标检测网络(Projective Transform Fusion AVOD,PTFAVOD)。其中,视角转换融合是指通过稀疏乘积将图像特征投影至俯视图空间,然后与点云俯视图特征进行像素级关联融合,由此可以更有效地融合多传感器信息提高检测能力。此外,本文借鉴2D检测中的排斥损失为该融合网络设计了一种针对密集3D目标检测的损失函数,实现了方向角的准确检测。实验证明,相比于AVOD(Aggregate View Object Detection)网络,PTF-AVOD网络对于密集3D车辆的检测效果提升显著。最后是多目标跟踪模块。通过改进基于图像的核相关滤波器,提出了一种以3D点云为输入且在俯视图上跟踪方向覆盖360°的相关滤波跟踪器。并以此为基础设计了多目标跟踪算法,完成在点云俯视图上对车辆进行多目标跟踪。通过上文中的PTF-AVOD融合网络每隔4帧做一次3D目标检测,中间连续3帧基于该相关滤波器进行在线跟踪。利用融合网络输出的3D目标检测结果初始化和更新跟踪器的结果。最后,重新设计关联矩阵并使用带权二分图最佳匹配算法进行不同帧目标之间的数据关联。实验验证,该感知算法在保证实时性的前提下,在点云的俯视图上准确地进行车辆的位置检测,轨迹跟踪和方向角的预测。