目标检测与跟踪是计算机视觉领域的重要研究内容之一,在人机交互、自动驾驶和智能机器人等领域都有广阔的应用前景。近年来,2D目标检测技术在主流数据集上取得了很好的研究成果,但2D目标检测缺乏空间信息,无法满足自动驾驶、机器人和智能人机交互等高层次的应用。目前主流的目标跟踪算法主要采用相关滤波方法,但在目标尺度变化较大时,存在跟踪丢失和跟踪准确率低的问题。针对以上问题,本文将目标深度信息应用于目标检测与跟踪,提出基于深度估计的3D 目标检测算法,以及基于深度估计优化的多尺度目标跟踪算法。论文的主要研究内容如下:(1)提出单幅图像深度估计网络。使用卷积神经网络和反卷积神经网络构建了单幅图像到深度信息的映射,实现了单幅图像的深度估计。将双目视差图像作为训练数据输入网络,估计图像场景的深度信息。实验结果表明,该网络能够有效实现单幅图像深度估计;且由于不需要深度信息作为训练样本,与现有的其他深度估计网络相比,该网络更易于训练与应用。(2)针对2D目标检测算法缺乏空间信息的问题,在深度估计网络的基础上,提出一种基于深度估计的3D 目标检测算法。首先使用2D目标检测算法确定图像中目标的位置,利用目标深度估计信息,初步计算其空间姿态;然后在其空间姿态基础上,生成目标的3D稠密样本边框,并通过最小化其重投影边框与2D 目标检测边框的误差,得到最终检测结果。实验结果表明,该算法能有效提高3D 目标检测的精度。(3)针对2D 目标跟踪算法对目标尺度变化敏感的问题,在深度估计基础上,提出一种基于深度估计优化的多尺度目标跟踪算法。该算法首先根据同标深度值与目标尺度变化训练预测模型,然后利用目标深度信息预测目标尺度,训练尺度可变的相关滤波跟踪模板,实现多尺度目标跟踪。实验结果表明,算法在目标尺度变化的跟踪过程中比相关滤波目标跟踪算法表现更好。