近年来,自动驾驶、智能机器人、虚拟现实等新兴技术备受大众瞩目,三维目标检测作为这些新兴领域的关键技术之一,受到了广泛的关注。通过计算机视觉技术确定目标在三维立体世界中的类别和三维框的位置、尺寸与方向角等信息是三维目标检测的核心任务。目前,仅基于RGB图的三维目标检测,因缺少深度信息导致卷积神经网络无法提取场景的高维空间特征,仅基于深度信息的三维目标检测,因缺少颜色、纹理等信息而无法获取目标的颜色、纹理等特征,由此可见,目标同时包含颜色、纹理信息和深度信息,二者缺其一都将导致目标的类别与目标三维框的位置、尺寸以及方向角等信息变得难以描述。另外,现实世界中往往存在遮挡、深度相机易受光照变化因素的影响而不稳定、雷达点云通常存在稀疏性与噪声,这些问题的存在使三维目标检测任务面临着巨大的挑战。因此,基于RGB图与深度信息进行三维目标检测并使其适应于现实的应用场景显得尤为重要,这将极大地推动人工智能技术前进的步伐。本文针对三维目标检测问题,在分析相关领域各类方法的基础上,总结它的优势和不足,最终从提升深度信息的利用率、降低网络模型的计算复杂度、以及恢复目标被遮挡区域缺失的深度信息等多方面入手,主要研究内容包括以下几部分:(1)将稀疏雷达点云补全为稠密深度图并消除噪声。针对自动驾驶、地面智能机器人等室外应用,因深度相机易受光照变化因素的影响而存在不稳定性,所以雷达摄像机更适合室外应用场景。然而,雷达点云往往存在稀疏性和噪声,易对三维目标检测任务产生干扰。因此,本文引入深度补全,将稀疏雷达点云补全为稠密深度图并消除噪声后进行三维目标检测,可提升场景深度信息的利用率以及避免噪声干扰。(2)结合实例分割缩小三维目标检测网络的三维空间搜索范围。本文研究基于RGB图与雷达点云的三维目标检测,对于自动驾驶等大型应用场景,点云数目庞大,直接对点云进行三维空间搜索,将导致卷积神经网络的计算量过大、复杂度过高,因此,本文引入实例分割算法来缩小三维目标检测网络的三维空间搜索范围。(3)结合图像修复算法修复目标被遮挡区域缺失的深度信息。现实世界中往往存在遮挡,而遮挡的存在导致物体被遮挡区域颜色信息与深度信息缺失,从而导致的目标的颜色信息与深度信息不完整,将对三维目标检测任务造成干扰。因此本文采用图像修复算法,还原目标被遮挡区域缺失的深度信息,从而为三维目标检测网络提供更加完整的深度信息。(4)基于三维信息的三维目标检测。因基于2.5维信息的三维目标检测缺少了对三维信息的利用,因此,本文利用三维信息进行三维目标检测,即利用彩色相机和雷达摄像机获取场景的RGB图和对应的雷达点云,然后通过RGB图确定目标区域,在提取对应区域的雷达点云后,将目标点云输入到卷积神经网络中提取特征,最后通过分类与回归网络预测目标的三维框。