随着智慧城市的推进,大量监控摄像机被部署于机场、火车站、社区等公共场所,形成多级别、多类型的全覆盖监控摄像机网络,从而提供了数以万计的大规模监控视频。随着监控视频数据的日益增加,传统的人工监控方法由于实时性差、检测分析不全面等缺陷难以处理大规模的监控视频数据。因此,基于机器学习、模式识别和计算机视觉的智能化视频分析技术具有重要的应用价值和研究意义。智能化视频分析技术对监控摄像机中获取的视频数据进行智能化处理,对面向不同应用需求的实体目标及其行为进行结构化分析整理,形成便于查询的结构化数据。多目标跟踪作为实现监控视频智能化分析的关键技术,旨在获取监控视频中所有运动目标的位置信息与身份信息。多目标跟踪任务可以为行为分析、动作识别等高层视觉任务提供有效信息,因此受到了研究学者的广泛关注。随着目标检测及行人重识别等底层视觉任务的发展,多目标跟踪任务也随之取得了丰硕的研究成果。然而真实场景下的多目标跟踪任务仍然面临着巨大的挑战,例如目标局部遮挡,特征不稳定,检测误差,光照变换等。上述挑战一方面由于目标检测误差造成目标特征无法对齐从而影响识别精度,另一方面因为有效信息的丢失、背景信息的干扰、局部细节的缺失增加目标特征学习的难度,从而进一步影响多目标跟踪的性能。除了真实场景的复杂多样性之外,多目标跟踪任务在技术层面也面临着模型无法端到端优化的挑战。具体而言,非端到端模型面临着优化困难、难以部署、误差累积等问题。本文首先针对单摄像头多目标跟踪任务中的检测误差、特征不稳定及无法端到端优化问题展开研究。具体而言,本文以视频中丰富的时空信息为基础,分别学习视频中的时空拓扑约束与时空轨迹关联,探索如何基于轨迹时空信息构建端到端多目标跟踪模型。进一步地,针对跨摄像头场景中的局部遮挡问题,建模基于姿态信息的局部匹配。本文的主要工作和创新点可以总结为以下四个方面:1.基于时空拓扑约束的多目标跟踪算法。在视频的多帧序列中,遮挡目标的检测与匹配是构建目标运动轨迹的难点。但是,多目标跟踪数据集提供的公开检测结果中存在大量由于遮挡带来的误检与漏检问题。因此,如何引入额外信息调整检测结果是多目标跟踪算法亟需解决的问题。针对上述问题,本文提出了基于时空拓扑约束的多目标跟踪算法。该方法首先通过方向、速度、空间距离等信息将目标及邻域目标构建为社交拓扑矩阵。其次,基于人群运动中的统计分布一致性通过空间拓扑约束来消除人群运动轨迹中的异常目标。最后,基于连续运动目标中的时域一致性通过时间拓扑约束来恢复连续帧中的漏检目标。2.基于时空轨迹关联的多目标跟踪算法。已有的算法利用基于图片帧的视觉特征进行数据关联来缓解遮挡匹配问题,而忽略了轨迹中包含的丰富时空上下文信息。为了更好的利用轨迹时空信息缓解遮挡问题,本文提出了一个基于时空轨迹关联的多目标跟踪算法。该算法首先通过时空注意力网络捕捉每条轨迹内部的显著区域以生成具有判别力的轨迹特征,然后将不同轨迹之间的时空关系建模为一个可靠的度量函数来生成高质量的轨迹从而增强多目标跟踪匹配的准确性,最后提出了双向插值算法利用轨迹的运动信息恢复已匹配上轨迹之间的丢失目标。3.基于轨迹特征增强的端到端多目标跟踪算法。针对已有多目标跟踪算法无法端到端优化,从而导致多目标跟踪各个模块相互独立、误差累积的问题,本文提出了一个基于轨迹特征增强的端到端多目标跟踪算法。该算法首先基于图匹配方法构建身份关联分支,将其与目标检测、特征提取整合到一个网络中,从而实现模型端到端优化的目标。然后基于历史轨迹信息建模轨迹增强模块桥接目标检测、特征提取与身份关联三个模块,同时基于历史轨迹信息增强目标检测与特征提取的底层特征,从而在整个网络中形成互利互惠的正反馈循环。4.基于光流姿态匹配的多摄像头多目标跟踪算法。目标局部遮挡与快速运动是多目标跟踪任务面临的挑战。考虑到现有方法在挖掘目标全局特征描述的同时忽略了局部特征对遮挡目标匹配的有效性,本文提出了一个基于光流姿态匹配的多摄像头多目标跟踪算法。该算法首先获取相邻帧之间的光流信息与每帧图片中的目标姿态信息,其次基于目标运动的连续性利用光流信息调整之前帧的姿态信息从而减少由于快速运动引起的空间距离误差,然后基于目标之间同时检测到的关键点信息计算局部姿态相似度,从而缓解遮挡带来的难匹配问题。通过将目标全局视觉特征、全局空间特征、以及局部姿态特征相结合,可以进一步增强数据关联鲁棒性,提升多目标跟踪的准确率。