近年来随着深度学习技术的兴起,卷积神经网络的算法依靠互联网的丰富数据与强大的特征提取能力,在各种视觉任务中取得跨越式的进步。多目标跟踪与分割是集检测、跟踪和分割于一体的新颖的机器视觉任务,其要求对视频帧中出现的目标进行实例级别的分割并且在帧间进行轨迹关联,在各种实际场景中有着广阔的应用价值。本文依托于深度卷积神经网络的技术,在基于时空特征融合的多目标跟踪与分割算法研究上做出探索性和创新性的研究,并取得了如下成果。本文提出了一种基于关联特征增强的多目标跟踪网络框架,从时间和空间两个维度增强关联特征的表达。算法首先通过主干网络提取到聚合了不同层次信息的特征,其次本文设计的特征分离模块用于从空间维度上增强关联特征的表达,通过设计不同的注意力机制,将检测分支与外观表达分支的特征解耦,同时也可以解决两个分支对于网络优化方向的矛盾。接着本文设计了长时外观记忆模块,从时间维度上加强关联特征,通过将多帧的跟踪轨迹的外观信息输入到长短期记忆模块,可以实现网络对于多帧外观特征的融合,而以此解决多目标跟踪中的巨大形变频繁遮挡等问题。两个模块分别从空间维度和时间维度上增强关联特征,来保证多目标跟踪中检测结果与跟踪轨迹的连接效果。该方法在两个公开的多目标跟踪基准数据集上都取得了优越的指标,在其中难度较大的MOT17数据集上对比同期方法提升0.4个百分点。在上一个工作实现的多目标跟踪算法的基础上,本文将检测的细粒度拓展到像素精度,这也就是多目标跟踪与分割问题,并且提出了基于时空特征融合的多目标跟踪与分割算法。算法网络由2D编码器和3D解码器构成。首先,将多张连续帧图像输入到2D编码层,提取出不同分辨率的图像特征;然后,从低分辨率的特征开始通过本文设计的空间三坐标注意力模块得到重要的空间特征,同时通过本文设计的时间压缩自注意力模块获得含有关键帧信息的时间特征,再将两者与原始特征融合,然后与较高分辨率的特征共同输入3D卷积层,反复聚合不同层次的特征,以此得到融合多次的既有关键时间信息又有重要空间信息的特征;最后,得到跟踪和分割结果。该算法可以端到端训练,在两个公开的多目标跟踪与分割基准数据集上的指标均明显超越了同期方法,在其中难度较大的KITTI MOTS数据集上提升了0.9个百分点。