视觉多目标跟踪是计算机视觉领域的研究热点之一。在无人驾驶领域,视觉多目标跟踪是智能驾驶车辆的眼睛,在自动驾驶车辆行驶过程中,鲁棒的多目标跟踪算法能够保障自动驾驶车辆的安全。视觉多目标跟踪有跟踪速度快、获取信息多、硬件成本低廉等优点。随着深度学习技术的逐步拓展,一些性能良好的基于卷积神经网络的外观检测器开始应用于视觉多目标跟踪领域。但在无人驾驶应用中,由于摄像机随自动驾驶车辆运动、复杂的道路环境等因素使得多目标跟踪问题变得更有挑战。现有的多目标跟踪算法在自动驾驶中的应用存在着一些问题,例如,在自动驾驶中有多个种类的目标需要跟踪,现有算法通常只对一类目标进行跟踪;另外,在无人驾驶车辆行驶中,被跟踪的目标有大量的互相遮挡、漏检、误检的情况出现,现有算法在相机运动状态下容易发生轨迹不连续,从而导致跟踪失败。鉴于这一研究现状,本文针对相机移动造成的轨迹不连续问题,提出了基于3D运动约束的视觉多目标跟踪算法,设计了相机运动观测模型和三维空间位置预测网络解决在相机运动状态下发生的轨迹不连续和身份漂移问题,并且在不同数据集上开展了实验验证,完成了视觉多目标跟踪算法的实现和性能评估。本文的主要工作有以下内容:(1)阅读了大量关于多目标跟踪的参考文献,研究现有视觉多目标跟踪算法在智能驾驶场景中应用的限制,采用单目相机成像模型估计相机运动,处理检测结果,获得跟踪目标的三维空间位置信息和绝对运动信息,减少相机运动对目标运动观测的干扰。(2)设计了基于长短时间记忆网络的运动轨迹预测模型记录跟踪目标轨迹,使用三维空间位置数据建立目标运动模型,预测下一时刻跟踪目标的三维坐标,计算图像平面边界框位置,为数据关联做准备。(3)提出了综合三维空间信息和图像平面信息的多维度的数据关联算法,提高检测结果和跟踪轨迹正确关联概率,保持跟踪算法在摄像机移动中的稳定运行,解决目标遮挡后跟踪身份恢复问题。为了验证提出方法的有效性,在公开的多目标跟踪数据集和我们自己采集的自动驾驶现场视频数据上进行了广泛的验证,完成了对算法性能的评估,实验表明本文算法减少了目标遮挡等原因造成身份漂移,实现了多种类多目标的跟踪任务。