视觉多目标跟踪的主要任务是对视频帧中的多个目标进行定位和识别,并在视频系列中准确还原所有目标运动轨迹的过程。视觉多目标跟踪属于计算机视觉应用中的基础问题之一,为计算机视觉高层应用提供重要支撑。近年来,以卷积神经网络为代表的深度学习技术在图像处理领域取得极大成功。其中,实现视频帧中目标定位和识别功能的检测技术获得重要突破。基于检测的跟踪(tracking by detection)把多目标跟踪方法推向更加真实的视觉应用场景。然而,在目标数量众多并且目标遮挡严重的视觉环境中,当前的检测技术无法完全正确地定位和识别目标,视频帧中存在由于漏检和误检引起的错误检测响应。如何有效地关联不同帧之间带有噪声的检测响应,还原目标完整的路径是基于检测的多目标跟踪方法面临的主要挑战。本文针对基于目标检测的多目标跟踪方法,就目标的外观和运动建模问题,冲突处理问题以及多目标跟踪的数据关联算法问题展开研究,提高多目标跟踪方法在复杂视觉场景下的跟踪性能。本文分别研究了多目标跟踪方法在在线、离线以及半在线处理方式下如何有效处理上述问题。为进一步提高多目标跟踪的鲁棒性,本文还研究了多摄像头下的多目标跟踪问题。具体而言,在在线多目标跟踪应用场景中,为缓解多个目标因冲突产生“相互劫持”现象,提出基于二次伪布尔优化的在线多目标跟踪模型;在离线多目标跟踪应用场景中,为处理多目标冲突以及单个目标外观和运动一致性问题,提出基于相关关系的多目标跟踪模型;为同时利用在线多目标跟踪的普适性以及离线多目标跟踪的鲁棒性,提出基于马尔科夫随机场的半在线多目标跟踪模型;为克服单摄像头下目标信息不完整问题,研究多摄像头下目标信息共享机制,提出基于目标重识别的多摄像头多目标跟踪模型。本文的创新点主要包括:1.基于二次伪布尔优化的在线多目标跟踪模型本文针对复杂场景下的在线多目标跟踪问题,研究目标冲突时的数据关联模型,旨在解决目标在短暂的冲突后如何正确恢复运动轨迹的问题。具体而言,本文提出二次伪布尔优化模型,对于任何可能产生冲突的目标对,模型设计相应的二次项,通过更加精细的外观模型区分目标对,从而正确地把目标和检测响应关联在一起。同时,为了使得目标跟踪器能及时反映目标不断变化的外观特征,本文提出目标外观模型的在线更新策略。2.基于相关关系的离线多目标跟踪模型本文通过分析目标跟踪片段之间的相邻和相离的关系,建立多目标跟踪数据关联算法的相关关系优化模型。其中,相邻关系处理不同目标因为位置不断靠近而引发的冲突问题,提高模型在拥挤场景中区分不同目标的能力。相离关系处理三个跟踪片段之间的关联问题,通过保持单个目标外观和运动特征的一致性提高目标跟踪能力。同时,为了加速相关关系数据关联算法的优化问题,论文提出使用能量最小化的图割方法,并且从理论上分析了能量最小化图割方法求解当前模型的速度优势。3.基于马尔科夫随机场模型的半在线多目标跟踪模型在多目标跟踪中,增加少量后续帧中的信息并不会显著削弱跟踪算法的实时性优势,另一方面却能极大提高目标跟踪器的稳定性。本文提出基于马尔科夫随机场模型的半在线多目标跟踪算法,通过利用少量后续帧的信息,挖掘目标跟踪器和检测响应以及检测响应与检测响应之间的时空相似关系,提高目标跟踪性能。另外,本文在马尔科夫随机场模型中引入标签惩罚项,通过约束标签数量处理目标数量动态变化问题。4.基于目标重识别的多摄像头多目标跟踪模型多摄像头下的多目标跟踪算法主要利用检测响应之间的空间-时间-视野(space-time-view)的关系,关联多摄像头下的检测响应,完成对多个目标的跟踪。本文采用目标重识别技术匹配不同视野下的目标。通过共享多个摄像头下的检测响应信息,模型显著提高多目标跟踪的性能。为了加速多目标跟踪算法,本文提出基于局部α-扩展的优化方法。