在目标的回波信号相对比较弱的情况下,使用传统的先检测后跟踪的技术难以检测和跟踪到弱目标。随着随机有限集(Random Finite Set,RFS)的不断发展,基于RFS的目标跟踪逐步成为一个重要的课题,并且相继出现了不同的滤波算法。其中,概率假设密度(Probability Hypothesis Density,PHD)是近年来提出的一种新算法。将RFS理论用于检测前跟踪(Track-Before-Detect,TBD)算法中,用来提高弱目标的检测和跟踪性能。本文以RFS理论为支撑,在深入理解PHD的基础上,重点研究了 PHD的平滑算法,高斯混合分量的修剪合并算法和多个弱目标的TBD算法。本文的主要工作及取得的成果如下:(1)基于PHD滤波的平滑算法的研究。重点研究了前向后向PHD平滑器在线性条件下的闭合解:高斯混合概率假设密度(Gaussian Mixture Probability Hypothesis Density,GM-PHD)平滑算法。针对GM-PHD平滑在目标消失的时刻产生目标的估计偏差的问题,本文提出了一种改进的GM-PHD平滑算法。通过MATLAB仿真实验验证:改进的GM-PHD平滑算法能够有效地解决由于目标消失而引起的异常平滑估计的问题。(2)基于PHD滤波的修剪合并算法的研究。重点研究了 GM-IPHD算法的修剪合并步骤。传统修剪合并算法没有充分考虑高斯分量的参数,目标近距离运动时出现错误合并导致跟踪精度低的问题。针对这一问题,本文提出了一种改进的合并算法。改进算法充分考虑了高斯分量的三个重要参数,修正了合并公式。通过MATLAB仿真实验验证,与传统的修剪合并算法相比,改进的修剪合并算法能够准确的估计目标消失时的目标状态,具有更好的目标跟踪性能。(3)基于PHD滤波器的检测前跟踪算法的研究。重点研究了高斯粒子PHD滤波器的TBD算法。将改进的修剪合并算法应用在检测前跟踪问题中,用来处理多个目标相邻和交叉运动的复杂场景。最后设置目标相邻和交叉两种仿真场景,通过MATLAB仿真实验验证,在信噪比降低的情况下,改进算法可以更好的处理目标相邻与交叉运动,并且具有良好的检测与跟踪性能。