激光雷达的点云数据与相机的图像数据是自动驾驶场景中的主要数据,是自动驾驶感知任务的重要组成部分,将这些数据进行有效的处理与利用对感知算法的准确性与安全性有重要意义。在三维目标检测任务中,以纯激光点云作为输入数据的算法得到了较好的发展。为了弥补点云稀疏性的短板,二维图像数据被引入三维目标检测任务中与激光点云融合。融合方法受到了越来越多的关注,其研究重点在于如何将点云数据与图像数据进行有效的融合。本文对目前三维目标检测算法进行总结与分析,并在此基础上,重点对基于点云与图像融合的三维目标检测算法进行研究,设计了一种新的三维目标检测融合算法。首先,本文总结了目前主流的三维目标检测算法,重点对基于激光点云与图像融合的目标检测算法进行研究,分析不同融合算法的优缺点,并结合目前点云与图像融合的难点问题,确定了本文研究思路。之后,本文对KITTI数据集中点云数据进行了前视视角的裁剪与体素化编码的预处理,通过稀疏卷积网络提取点云体素特征;对KITTI数据集中的图像数据进行了归一化的预处理,通过卷积神经网络与特征金字塔结构提取二维图像信息,为后续特征融合奠定基础。最后通过评价指标AP（Average Precision）来评估融合算法的有效性与精度。其次,在获取到点云与图像的特征基础上,本文对现有的特征融合方法进行了深入研究,提出了基于鸟瞰图视角（Bird’s eye view,BEV）下的点云与图像特征融合算法。对于上述的点云体素特征,本文对其进行高度方向上的堆叠与整合,形成点云BEV特征;对于上述的二维图像特征,提出了基于深度信息的图像鸟瞰图特征构建算法,在图像BEV生成过程中引入深度信息,解决了因一条射线上的不同体素中心映射到同一像素而导致的图像BEV特征不准确的问题,生成了更加符合真实场景目标位置分布情况的图像BEV特征;本文抓住不同模态之间的坐标关联信息,采用基于全局注意力的特征融合方法,在鸟瞰图这一全局视角下将点云特征与图像特征进行融合。本文在KITTI数据集上进行了实验,验证了算法的有效性。再次,在上述BEV视角下融合的基础上设计了双阶段的点云与图像特征融合网络,在区域推荐阶段与优化微调阶段都进行融合,解决了点云与图像数据之间融合不充分的问题。为了解决因数据表征不同与特征提取流程独立导致的点云特征与图像特征存在差异的问题,提出了基于局部注意力的微调阶段融合算法,使得网络自适应的给点云与图像特征赋予权重,在网格层面上进行有效融合。本文在KITTI数据集上进行实验,证明了双阶段融合算法的有效性。然后,对上述所设计的双阶段融合网络在数据增强和损失函数上优化设计,提高网络的训练效率。针对点云与图像数据增强之间的差异破坏坐标对应关系的问题,总结了一个反数据增强流方法,保持了数据增强后点云与图像数据的正确映射关系;设计了一个多模态数据复制粘贴方法,根据目标的深度顺序,对不同模态的数据进行同时的真值样本的扩充,缓解了正负样本失衡的问题,使网络训练更加高效;设计了辅助损失训练策略,对融合之前的点云与图像特征添加辅助头,以更加直接的方式对不同模态的特征进行优化,提高不同模态特征的训练效率。最后,在KITTI数据集上进行了实验。对本文所提出与设计的方法进行消融实验,以减法和加法两个实验思路,充分证明了方法的有效性;进行了结果可视化对比,以更加直观的方式证明了本文所设计的融合算法的检测优势;将本文所设计融合算法与多种目前已开源的先进融合算法进行横向对比,对比结果证明了本文所提算法对中等和困难等级目标的检测结果都达到目前最好的水平。