多目标跟踪(Multi-Object Tracking,MOT)旨在从视频或者连续的图像序列中得到多个感兴趣目标完整的运动轨迹。作为计算机视觉和模式识别领域的一个研究热点,MOT为后续的视频分析和理解提供了基础,在智能视频监控、无人车驾驶、人机交互、医学诊断、精准制导等诸多领域具有广泛的应用前景。虽然近年来多目标跟踪算法研究取得了很大的进展,但是受复杂的跟踪场景变化、频繁的遮挡、目标个数不确定性等因素的影响,多目标跟踪算法研究一直是一项极具挑战性的课题。近年来,随着深度学习在计算机视觉领域取得的突破性进展和检测器性能的不断提升,基于检测的跟踪算法已经成为当前多目标跟踪的主流方法。这类方法的基本流程如下:首先由训练好的离线检测器提供每一帧中各目标的位置(即检测响应),然后将多目标跟踪问题转换为数据关联问题,将属于同一目标的检测响应关联在一起,最终得到完整的目标轨迹。因此,关联模型的设计是该类跟踪算法的核心。关联模型主要用于计算检测响应(或者轨迹片)之间的关联亲密度,一个好的关联模型能够提取具有判别性的目标特征,在反映不同目标差异性的同时保持相同目标之间的共同性,从而实现对复杂场景中多个目标的鲁棒跟踪。本文采用基于检测的多目标跟踪框架,结合深度学习技术,对多目标跟踪关联模型的设计进行深入的研究。主要工作如下:(1)基于深度度量学习的多目标跟踪关联模型设计行人多目标跟踪任务和行人再识别之间具有相似性,基于此相似性,本文首次将行人再识别中的三元组损失应用于多目标跟踪领域。通过三元组约束关系构建三元组训练样本,采用三元组损失训练一个三通道卷积神经网络提取目标外观特征;通过判别性的外观特征计算目标之间的外观相似度,再结合线性运动模型计算轨迹片之间的关联概率;最后使用自适应时间滑动窗机制和匈牙利算法进行多级关联,得到完整的目标运动轨迹。在MOT Challenge数据库上的实验证明了该算法的有效性。(2)基于特征融合和度量学习的多目标跟踪关联模型设计目标运动模式和跟踪场景具有不确定性,比如目标运动方向发生突变、运动速度发生变化、摄像头发生剧烈抖动等。在这些情况下,简单的线性运动模型无法提取到准确的目标运动特征。针对此问题,本文提出用递归神经网络建模目标非线性运动模式并提取运动特征,在此基础上融合目标外观和运动特征,提出基于特征融合和度量学习的多目标跟踪关联模型,实现了端到端的神经网络模型设计。在MOT Challenge数据库上的实验结果证明了该方法的有效性,取得了与当前主流算法相当或者更好的多目标跟踪结果。(3)基于递归神经网络和贝叶斯滤波的多目标跟踪算法当前基于检测的多目标跟踪算法大都关注于如何实现可靠的数据关联。但另外一方面,检测器输出质量也将影响多目标跟踪算法性能。针对目标检测器常见的漏检、虚警以及定位不精确等问题,本文提出了一种轨迹估计策略以校正检测器缺陷:我们设计了一个基于循环神经网络(RNN)的贝叶斯滤波子模块,并嵌入到基于LSTM的运动特征提取模块;以LSTM网络的隐状态变量为输入,RNN网络通过预测、更新实现目标状态更精准的定位。实验结果证明,将轨迹估计策略与上述关联模型相结合,可以进一步提升多目标跟踪算法性能,同时显著改善了跟踪目标的定位精准性。