多目标跟踪是计算机视觉学科的一个重要的研究子领域,旨在连续的图像序列中维护各个目标的身份与轨迹,因此广泛应用在现实生活中,例如无人驾驶、智能安防、工业智能化等。现今,多目标跟踪多为基于检测的跟踪,其主要是依靠目标检测器提供当前图像感兴趣目标的位置信息,并通过数据关联的方式匹配跟踪目标与检测目标,以此完成多目标跟踪。本文针对基于数据关联的多目标跟踪中的运动模块与外观模块展开研究。通过提出一个联合孪生神经网络,将数据关联中的运动模块与外观模块视为一个整体进行框架的建立。而后更进一步的将目标检测模块、运动模块、外观模块集成到一个端到端的网络中,构建了一个检测跟踪一体化的多目标跟踪算法。同时针对机场场面监视场景,将该算法与飞行器上特有的ADS-B信号结合设计了一款基于ADS-B的检测跟踪一体化算法。通过与其他算法的实验对比得出,这些改进取得了较大的性能提升。工作的具体内容与创新如下:1、本文首先介绍深度学习的基础知识以及近几年几款经典的深度学习网络和表现出色的目标检测算法,同时归纳了近几年来多目标跟踪算法中运动模块、外观模块、关联算法一些经典方法,分析并总结现如今这几个模块间存在的问题。2、本文提出了一个基于联合孪生神经网络的多目标跟踪算法。联合孪生神经网络通过将运动模块与外观模块集成到一个端到端的网络中,不仅增强了网络在复杂环境下辨别相似目标的能力,增强跟踪目标与候选目标的亲和力,同时深度特征的再利用极大减小了模型的复杂度。此外该框架还创建了一个候选人更新模型,通过全卷积神经网络提取特征对公开检测集中的检测结果与前一帧的跟踪结果进行重新打分,以此弥补公开检测集中结果不可靠的问题。该算法基于公共检测集在MOT16与MOT17多目标跟踪数据集上取得了出色的效果。3、本文提出一个检测跟踪一体化的多目标跟踪算法。该算法以DarkNet-53作为骨干网络,将目标检测模块,外观模块与运动模块集成到一个端到端的网络。同时针对机场场面监视场景,在原有算法中加入ADS-B信号增益,并利用ADS-B信号引导运动模块的切换,以此改善漏检,因外观相似或非线性运动造成身份交换,提高多目标跟踪的精度。该算法基于私有检测集在MOT16与AGVS数据集上取得了较为不错的效果。