近年来,自动驾驶有了广泛的应用,多个传感器会被安装在自动驾驶汽车中,如激光雷达(LIDAR)和视觉传感器等。激光雷达能够捕获精确的深度信息,而详细的语义信息却保留在视觉传感器捕获的数据中。在自动驾驶中,一项比较关键的任务是对目标进行基于深度学习的3D检测与定位。深度学习在目标检测和实例分割等2D计算机视觉任务上已取得了显着进步。但是基于点云数据的3D目标检测仍然面临着巨大挑战,如数据格式不规则、搜索空间的自由度较大、LIDAR点云具有的无序性和不规则性等特点在处理上较为复杂,而RGB图像由于缺少了空间信息而很难达到较高的检测准确度等等。针对上述问题,本文在充分研究了现有3D目标检测算法的基础之上,结合LIDAR点云数据和RGB图像数据的特点,提出了系列的改进方案,并通过实验充分证明所设计的网络结构的可行性。本文主要研究内容及贡献包括:(1)首先对使用不同数据进行三维目标检测的不同算法进行系统全面的研究,对单独使用RGB图像数据、单独使用LIDAR点云及将RGB图像数据与LIDAR点云进行结合这三类算法进行了详细划分,对每一类算法的算法结构、网络框架等进行了充分理解与研究。(2)提出了一种使用双目RGB图像数据和激光雷达点云数据融合的三维目标检测网络。针对单目RGB图像对目标定位不够准备的问题,提出了新的双目RGB图像融合方案,且通过加入边缘卷积与残差注意力模块的方式生成更加紧凑的点云分割方案,以将目标点更准备的与背景分割开来,并提出一种新的3D框编码方案进一步提高检测精度,最后通过实验证明了所设计的网络的有效性。(3)提出了一种基于体素图表示方法的三维目标检测网络。该网络以原始点云作为输入并输出目标的类别和边界框信息,并主要由体素图网络模块和稀疏到密度回归模块组成。体素图网络旨在为每个体素构造局部完整图,为所有体素构造全局KNN图。局部完整图和全局KNN图充当注意机制,可以为每个点的特征向量提供参数监视因子。这样,可以将局部特征与全局特征逐点组合。所设计的稀疏到密集的回归模块,通过融合处理不同尺度的特征图来预测类别和3D边界框。最终的实验结果验证了基于图表示方法的三维目标检测的有效性。