随着各种类型传感器技术水平的不断进步,多目标跟踪技术的应用范围和需求也不断扩展。传统的多目标跟踪方法由于涉及到复杂的数据关联过程,在杂波、检测不确定和目标数未知的背景下面临技术和实现上的难题。近年来发展的基于有限集统计(Finite Set Statistics,FISST)的多源多目标信息融合理论为多目标跟踪问题奠定了科学、严谨的理论基础。其中,基于随机有限集(Random Finite Set,RFS)描述的多目标系统以及建立在集合之上的概率统计学,可以得到解决多目标跟踪问题的最优多目标贝叶斯滤波器。由此发展而来的多目标滤波器或多目标滤波算法可以直接估计空间中的多目标个数和相应的目标状态,在处理复杂的多目标滤波问题时比传统方法具有诸多优势。鉴于此类方法具有完备的理论支撑和广阔的应用前景,本文以单传感器多目标跟踪应用为前提,对基于RFS的多目标滤波算法展开深入研究,针对现有算法存在的一些问题提出相应的解决办法,为改善其性能和推广其应用奠定基础。论文主要研究工作如下:首先,针对如何提高概率假设密度(Probability Hypothesis Density,PHD)滤波器的多目标估计性能方面展开研究。为了解决标准的PHD滤波器需要先验目标出生强度信息和容易受到杂波观测影响的问题,提出一种新的观测驱动的PHD滤波算法。该方法通过对PHD滤波器的分解执行以及对输入观测的分类,实现了已有目标和新生目标的独立滤波,有效地避免了无关观测对已有目标滤波过程的影响,而且可以基于观测分类结果自适应地在每一次滤波迭代中构建新生目标强度。此外,针对序贯蒙特卡洛PHD(Sequential Monte Carlo PHD,SMC-PHD)滤波器中多目标状态估计难以提取的问题提出一种多目标状态提取算法。该算法基于独立的观测和粒子的似然信息实现粒子和观测的关联验证,然后利用有效的观测主导粒子群划分,最后结合估计的目标数完成独立目标状态的提取。计算机仿真实验验证了两种算法的有效性。其次,针对标准的势化PHD(Cardinalized PHD,CPHD)滤波器中存在的漏检更新问题,基于高斯混合(Gaussian mixture,GM)方法提出了一种改进的GM-CPHD滤波算法。该算法基于高斯混合形式表示的多目标后验PHD,通过在滤波器的更新步骤引入一种权值重分配机制实现了对更新的高斯分量权值的修正,既能防止检测目标在更新后获得额外的PHD权值,也能保证漏检目标的PHD权值在更新后得到有效的补偿,使其集中在漏检目标区域。这一结果在全局上抑制了CPHD滤波器递归在漏检发生时存在的权值交互现象。此外,对漏检目标权值补偿的过程考虑了多帧信息,可以适应目标漏检或连续漏检的情况,而且这一过程不影响滤波器的目标数估计结果,因此可以保证目标的势分布更新的准确性。仿真结果表明,该算法可以有效地改善CPHD滤波器在检测不确定环境下的多目标估计性能。最后,针对Delta扩展标签多伯努利(?Generalized Labeled Multi-Bernoulli,?-GLMB)滤波器的在非线性多目标系统中的应用问题,基于GM方法提出了一种非线性?-GLMB滤波算法。该算法采用GM的形式建模单个目标的概率密度函数,在执行?-GLMB滤波器的滤波递归方程时需要计算高斯密度和非线性密度函数的多维积分,通常难以得到解析解。为此,我们利用三阶球面径向容积规则对上述的积分求近似解,实现了?-GLMB密度参数在预测和更新步骤的递推传递。该方法可以适应高维的强非线性系统,而且具有较好的数值稳定性。同时,考虑到?-GLMB滤波器对新目标的检测和跟踪依赖于新生目标分布的先验信息,给出了一种基于观测信息的自适应新生目标分布初始化方法。最后通过仿真实验验证了所提算法的有效性以及在新生目标分布模型未知情况的下的目标检测能力。