三维空间中的目标检测与定位是人们感知环境的重要依据,在机器人、自动驾驶、安防监控、工业生产、智能农业等诸多领域都有重要应用。三维目标检测与定位需要精准的距离信息,并长期以来极度依赖于激光雷达等昂贵设备。本文根据二维目标检测和双目视觉测距原理,利用图像处理、立体匹配和深度学习等方法对二维/三维目标检测与定位问题进行了深入研究,提出了融合目标检测与定位算法,并分别基于开源数据集和自采数据集进行了实验和测试。最后,深入探讨了影响三维检测与定位的主要因素和改进方案。论文主要工作和成果如下:(1)梳理了六种二维目标检测算法的原理。阐述了多种代表性网络的框架,定性分析比较了不同算法之间的优劣。通过设计数据处理方案,将YOLO和Mask R-CNN算法及预训练模型应用于开源数据集上,进行了训练与测试。分析结果表明,YOLO推理速度极快,适用于实时检测;Mask R-CNN检测平均准确率更高,具有良好的实例分割效果,可实现对目标物体的精准分割,最终选定将其作为二维检测部分的基础算法。(2)阐述了七种三维目标检测算法的原理。详细剖析各种优秀算法的流程和网络结构。对其中两种重要算法,Frustum-PointNet和PointRCNN进行了复现,并测试了算法性能。相对而言,Frustum-PointNet算法在构造视锥部分受物体遮挡和投影误差影响,候选框的提取精度受限。本文对Frustum-PointNet候选框提取算法进行了改良,提出了基于二维实例分割的候选区域提取算法。(3)提出了一种融合二维和三维目标检测的定位算法。主要工作如下:1.利用神经网络训练了双目视觉立体匹配模型,在KITTI数据集上进行了推理,获得了准确的视差估计,并由视差图生成伪点云。2.利用二维-三维坐标转换和离群点剔除成功分割了前景与背景。3.设计了两种精化网络输入的候选框提取算法。4.调整了三维目标检测网络,并将整个算法在KITTI数据集上进行了测试,结果与PointRCNN相当。验证了算法的可行性和有效性。(4)设计了自动驾驶场景数据集采集方案,并通过自采数据集对融合目标检测与定位算法进行了实验验证。结果表明,车辆尺度预测方面,误差在分米级;坐标预测方面,误差在米级。双目视觉下的三维检测与定位中,深度估计精度对最终结果起决定性作用。因此,应该着重研究相机标定、立体匹配等直接或间接影响深度估计效果的因素。