近年来,随着人工智能技术的发展与成熟,其应用越来越广泛,自动驾驶则近几年国内外研究团队对人工智能技术的一个重点研究方向。车辆检测是自动驾驶需要完成的首要任务,使用多传感器融合进行车辆检测是未来主流的研究方向。针对目前现有的基于多传感器融合的检测方案不能满足应用需求的问题,本文提出了新的基于多传感器融合的解决方案。本文设计的基于图像与点云融合的车辆检测方案主要包括四点研究内容:网络主体结构、特征提取网络、融合算法以及检测输出网络。为了保证检测精度,本文设计了基于两步法的网络主体结构,对目标进行两次预测。针对输入的图像数据与点云数据,本文对两者的特征提取网络分别设计。图像数据利用改进的VGG16网络实现对图像特征的提取。点云的特征提取网络则分两部分进行设计,包括体素特征学习网络与特征提取网络。体素特征学习网络是针对点云三维数据格式而设计的网络结构,其目的是为了保留数据原始的空间信息。将三维数据在俯视图上进行栅格化处理,统计每个栅格内各个点的坐标信息。利用神经网络学习栅格内每个点的特征信息,聚合得到点对点的输入特征。设计了基于3D卷积与2D卷积的特征提取网络,完成对点云数据的特征提取。针对生成的图像特征图和点云特征图,本文设计了基于空间变换的融合算法将图像特征投影到点云的鸟瞰图上,与点云的原始特征合并后得到融合的特征图。在融合后的特征图上使用候选区域生成网络得到可能存在目标的候选框,最后设计检测输出网络对候选框进行第二次预测,输出候选框的分类与位置信息。本文在公开的数据集上对设计的检测方案进行评估,实验结果表明在基于多传感器融合的车辆检测方案中,本文的检测精度具有明显的优势,可以满足本文的应用需求。