目标跟踪作为信号处理中的一类关键问题，有着极为广阔的市场应用价值，一直都是各学者研究的热点。传统的多目标跟踪方法，如最近邻方法和联合概率数据关联方法，是分别对每个目标设计单目标滤波器，再通过数据关联技术产生跟踪结果，其跟踪性能主要取决于数据关联的过程。然而，随着信息技术的快速发展，空间环境日趋复杂，以数据关联为基础的目标跟踪算法受到了极大的挑战，已无法满足各领域的高需求。近年来，基于随机有限集的跟踪方法成为了一个重要的研究课题，各种滤波算法层出不穷，其中Mahler提出的概率假设密度滤波算法为多目标跟踪奠定了理论基础，具有深远的意义。该方法将目标的状态模型和观测模型用随机集的形式表示，利用贝叶斯滤波递归地传递后验强度函数，有效地实现对目标状态和个数的直接估计。基于随机有限集的跟踪方法成功地避免了复杂的数据关联过程，突破了传统算法的约束，大大提高了计算效率，因此受到了广泛的青睐。本文正是围绕此理论展开了相关研究，在概率假设密度滤波器深入理解的基础上，重点研究了粒子PHD滤波器，高斯混合PHD滤波器及其改进算法，具体研究内容如下：1.从单目标贝叶斯算法出发，论述了随机有限集理论的基本定义以及相关的集合积分和导数的特性，进而在随机有限集框架下建立了多目标贝叶斯跟踪模型，最后引出了最优贝叶斯的近似形式——概率假设密度滤波，并详细介绍了PHD算法的基本递归方程和步骤。以上理论为基于随机有限集的目标跟踪技术研究提供了理论基础。2.尽管PHD已经把多目标的集积分问题转化成了单目标状态下的积分，可是依然存在较复杂的高维积分计算，难以得出解析解。针对此问题，给出了两种不同应用条件下的PHD滤波实现方法。在非线性非高斯系统中，引入序贯蒙特卡洛方法，由此得到了粒子概率假设密度滤波算法；在特定的线性高斯环境下，用高斯混合模型描述目标，在迭代中实现了闭合解的合理近似，这就是高斯混合概率假设密度滤波算法。最后通过仿真结果对两种方法进行了分析和总结。3.对于传统GM-PHD算法中出现的目标被漏检和目标距离相近时算法精度下降的情况，提出了一种高斯混合PHD滤波的改进算法。该算法在高斯混合框架下通过修正PHD递归方程，有效地解决了漏检引起的有用信息丢失问题；利用权值判断高斯分量是否用于提取目标状态，避免了具有较高权值的高斯分量合并在一起，从而成功改善了目标相互接近时的跟踪性能。仿真结果说明，改进的算法在滤波的精确度以及目标状态的估计方面都明显好于基本的GM-PHD算法，同时增强了算法的鲁棒性。