多目标跟踪是计算机视觉的一个重要分支。不论是学术上还是商业上都有着重要巨大的价值。在国防领域上,多目标跟踪是无人机完成侦查、打击任务的关键技术之一。在监控领域上,多目标跟踪能够对视频进行分析,能够有效地减轻我国警察的负担,同时极大提高工作效率。除此之外,多目标跟踪在无人驾驶、智能机器人等方面都是关键技术之一。现在的多目标跟踪算法主要是基于检测的跟踪,检测算法的优劣将直接影响跟踪算法的效果。当出现漏检、误检都会对多目标跟踪算法造成影响。除此之外,目标之间的遮挡、相机移动、目标发生形变等等都是多目标跟踪算法需要解决的难题。本文基于卷积神经网络,提出了一个多目标跟踪算法,具体的工作和创新如下:1.梳理了常见目标检测算法,主要介绍了YOLO系列和R-CNN系列的目标检测算法,并比较了这些算法的异同。2.梳理了传统多目标跟踪算法以及基于深度学习的多目标跟踪算法,对于传统多目标跟踪算法研究了多假设跟踪、结构约束等多目标跟踪方法。对于基于深度学习的算法研究了基于深度关联度量、身份重识别等多目标跟踪方法。3.本文的多目标跟踪算法利用孪生区域建议网络(Siamese RPN)来生成新的候选目标。使用正在跟踪的目标以及当前图像序列的检测目标作为模板目标生成新的候选目标。通过这个方法能够改善现有检测结果,在目标漏检的情况下有更好的鲁棒性。4.利用基于区域的全卷积神经网络(R-FCN)对候选目标重新打分,并消除冗余候选目标。使用R-FCN网络对候选目标重新打分。在对所有目标打完分之后,利用非极大抑制值算法消除冗余目标。通过这个方法对目标进行处理能够保留更好的候选目标,同时清除原有的误检目标。能够有效改善检测结果,进而提升跟踪的效果。