多目标跟踪是现代武器和防御系统中的关键技术，在国防和民用领域都有着重要的应用价值。由于受目标观测信息和目标数目的不确定性、强杂波或杂波强度未知等因素的影响使得多目标跟踪成为一个极具挑战性的问题。多目标跟踪在弱小目标检测前跟踪的应用具有现实意义，由于图像信噪比很低，弱小目标将很难从背景、噪声以及杂波中检测和跟踪到，因此，如何实现弱小目标检测前跟踪成为一个亟待解决的问题。本文重点研究随机集PHD滤波器以及在弱小目标的检测前跟踪中的应用。　　首先，介绍了随机集滤波模型、PHD滤波，研究了适用于线性高斯系统的高斯混合PHD滤波和适用于非线性系统的高斯混合粒子PHD滤波。仿真实验验证了两种算法都能够获得较好的目标跟踪效果。　　其次，研究了未知杂波环境下的PHD多目标跟踪方法。包括杂波强度估计的EM算法和MCMC算法，提出的未知杂波环境下的基于EKF的PHD滤波和基于CKF的PHD滤波，较好的解决了未知杂波环境下的非线性滤波问题。提出的未知杂波环境下的高斯混合粒子PHD(GPF-PHD)平滑算法，通过引入平滑步骤，利用更多的观测信息，提高了目标状态的估计精度。仿真实验验证了所提算法的有效性。　　最后，针对低信噪比情况下，基于粒子滤波PHD的TBD算法存在粒子退化严重、耗时长、跟踪性能差等不足，提出了一种基于高斯混合粒子PHD的TBD算法，在预测和更新阶段，对每一高斯项进行粒子采样，每一时刻只需存储高斯项的均值和协方差，该算法可获得较好的跟踪效果。仿真实验验证了所提算法的有效性。