目标检测与定位技术在智能车辆环境感知体系中占有重要地位,在军用和民用自动驾驶平台上有着广泛应用。现阶段自动驾驶场景中使用较多的方案通常只适用于某一类目标,并且未充分考虑车载环境下算法执行平台的性能和功耗限制。本文基于车载三维激光雷达和摄像头,研究多类别目标检测与定位问题,并在车载嵌入式平台上部署算法进行实验验证。针对多类别目标检测与定位问题,本文考虑不同传感器感知能力差异,搭建激光雷达点云信息与图像信息融合模型。首先利用SSD目标检测框架训练多目标检测模型,在实际检测阶段基于该模型从图像中找出感兴趣的所有目标并确定其在像素坐标系中的位置;然后根据传感器信息融合算法,将上一步检测出的所有目标边界框内像素点与激光雷达点进行空间和时间对准,考虑到图像分辨率远远高于激光雷达,本文在此基础上进一步采用高斯过程回归算法,赋予经过数据对准后没有相应雷达点的像素点合理的深度值。最后筛选出边界框内真实打在目标物体上的雷达点并计算目标在车体坐标系中位置。针对目标检测与定位算法在车载嵌入式平台的执行问题,本文在原有SSD目标检测框架的基础上将特征提取网络替换为轻量级的Mobile Net,相比SSD原版框架,神经网络的数据规模和计算量都得到显著降低。在模型部署阶段,选择Jetson TX2嵌入式平台作为车载计算设备,并选择适用于该硬件平台的Tensor RT高性能神经网络推理引擎对模型进行权值量化,加快推理速度。最后,本文首先以公开视觉数据集KITTI中的数据和实际采集的数据组成新的测试集,并用该测试集对训练得到的目标检测模型进行了评估。结果显示本文训练的模型在三种类别上的平均精确率接近80%。然后基于实车平台验证了目标检测与定位算法的可行性和稳定性。实验结果表明,本文所建立的结合图像数据与激光点云的目标检测与定位系统能够有效检测出车辆行驶环境中的多类目标并确定其在车体坐标系或大地坐标系中的位置。