上世纪七十年代以后,视觉追踪算法取得了很大的进步,多目标跟踪（Multiple Object Tracking,MOT）就是其中一个研究热点之一。按初始状态分类,多目标跟踪算法主要分为两类:基于检测的跟踪（Detection-Based Tracking,DBT）和基于初始化帧的跟踪（Detection-Free Tracking,DFT）。按照处理方式分类,多目标跟踪算法也分为两类:在线（Online）跟踪和离线（Offline）跟踪。本文所研究的基于深度学习与多假设跟踪的多目标轨迹融合算法便属于在线（Online）的基于检测的跟踪（DBT）。本文利用深度学习中的Mask R-CNN结构作为目标检测器,检测出视频每帧目标的位置信息以及置信度。同时提取每个检测框的深度特征,并将特征利用PCA降维至256维。在数据关联部分,本文使用的是多假设跟踪数据关联算法（Multiple Hypothesis Tracking,MHT）。本文使用的多假设跟踪算法是传统多假设跟踪算法的改进。为了更好提高跟踪速度并且保证跟踪精度,我们需要扩大数据关联的门控区域以提高跟踪速度,增加额外的剪枝以保证跟踪精度。但是,仅仅利用运动信息进行数据关联显然不能满足需要。改进的MHT利用最小二乘法进行外观建模,通过实验数据证明外观模型可以增加额外的剪枝,提高跟踪精度;外观模型还能降低MHT对参数设置的依赖性,可以用扩大数据关联门控区域的方法,提高跟踪速度。改进的多假设跟踪算法利用剪枝的方式显著降低了计算量,提高了跟踪速度。本文采用Mask R-CNN与改进的MHT的结合的多目标跟踪方式,不但提高了跟踪精度,还加快了跟踪速度,具有很好的鲁棒性。本文还提出一种基于深度学习与多假设跟踪的多目标轨迹融合算法。在外观建模部分,提取每个检测框的深度特征、HOG特征以及颜色直方图特征。分别利用这三种特征进行外观建模,得到三条跟踪轨迹。之后,将这三种特征的跟踪轨迹进行融合,得出一条最优化轨迹。实验数据表明,本文提出的方法显著提高了多目标跟踪的性能。