随着科技的不断进步,各类传感器的灵敏度和精度都得到大幅度提升,因此基于观测的多目标跟踪技术的发展迫在眉睫。特别是在复杂环境中高机动性目标的观测难度增大,传统的基于数据关联技术的多目标跟踪算法性能已经很难获得质的提升。因此近年来由随机集（Random Finite Set,RFS）理论发展出的有限集统计学（Finite Set Statistics,FISST）成为了多目标跟踪领域新的研究方向。由于随机集理论直接面向集合进行运算,无需进行数据关联,可以有效的避免复杂环境下高机动目标数据关联困难的问题。所以本文以随机集理论作为根基,对SMC-PHD多目标跟踪算法展开深入研究,针对复杂环境下多目标跟踪中存在的问题提出相应的解决办法。论文主要研究工作如下:（1）针对复杂环境中SMC-PHD滤波算法存在的目标状态突变和粒子贫化的问题,设计了一种新型ST-SMC-PHD多目标跟踪算法。首先,针对粒子滤波算法在跟踪非线性状态突变系统的隐状态时,因粒子贫化出现的估计精度下降问题,提出了一种基于Student’s t分布的自适应智能粒子滤波算法AIPF（Adaptive Intelligence Particle Filter,AIPF）。通过自适应生成大权值和小权值粒子集,再对粒子集进行自适应加权交叉和突变操作,使得粒子多样性得到提升,最终提高了粒子滤波算法的精度和鲁棒性。仿真实验验证了算法的有效性。接着通过分区采样的方法,将AIPF粒子滤波算法引入SMC-PHD滤波,设计得到ST-SMC-PHD多目标跟踪算法。通过分析和实验可知,该算法可有效改善SMC-PHD中重采样后粒子集的性能,减弱粒子贫化带来的负面影响,同时提升算法的稳定度,有效的提升了算法在高杂波的环境中对存在状态突变的交叉轨迹目标和急转弯轨迹目标的跟踪性能。（2）针对复杂环境中SMC-PHD滤波算法存在的粒子退化和计算效率下降的问题,设计实现KB-SMC-PHD多目标跟踪算法。首先,针对粒子滤波计算效率低和因粒子退化导致计算精度下降的问题,基于KLD（Kullback Leibler Distance,KLD）采样和蝙蝠算法,提出一种可动态调整粒子规模的自适应粒子滤波算法KBPF（KLD Bat Particle Filter,KBPF）。在重要性采样中利用KLD采样动态调整粒子规模。然后,使用蝙蝠算法定向优化粒子集,并在迭代更新中使蝙蝠算法和KLD采样相互作用,从而达到同时提升计算精度和计算效率的目的。并通过实验验证了算法的可行性和有效性。接着,将KBPF算法引入SMC-PHD滤波中,重新设计目标函数和全局寻优策略,设计出KB-SMC-PHD多目标跟踪算法。该算法可自适应的驱使粒子向区域最优解飞行,提升计算精度,同时自适应的删除冗余粒子,提升算法效率。通过仿真实验表明,该算法,能有效提升算法精度和算法效率。（3）针对在复杂环境中高杂波影响导致SMC-PHD算法对目标数目判断错误,从而影响状态提取中K-means算法性能的问题,提出一种基于AP（Affinity Propagation）聚类的AP-SMC-PHD滤波算法。因为AP聚类不需要先验预知目标类数,且能给出确定质心的特性,从根本上避免了由于目标数量估计不准确对状态提取带来的负面影响。仿真实验表明,该算法在高杂波环境中,估计精度明显提高。（4）针对复杂环境中包含高杂波及目标轨迹交叉时粒子PHD中的聚类算法很难有效进行多目标状态提取（Multi-estimate extraction,MEE）的问题,提出一种DYE-SMC-PHD染色滤波算法。首先通过染色策略标记粒子,根据粒子色度将粒子集分集,再利用权值MEE方法实现对多目标状态提取。仿真实验表明,该算法在高杂波环境中有更好的计算性能,并且在目标轨迹交叉重合的区域有更高的估计精度。本文针对复杂环境中SMC-PHD多目标跟踪算法存在的由于粒子滤波性能下降导致的计算精度和计算效率低的问题,由于高杂波导致的目标数量估计不准问题,和包含急转弯和轨迹交叉的复杂运动目标跟踪精度低的问题,设计了ST-SMC-PHD算法、KB-SMC-PHD算法、AP-SMC-PHD算法和DYE-SMC-PHD算法,并通过仿真实验验证了上述算法的有效性。研究结果对有效提升复杂环境中多目标跟踪算法性能具有重要意义,且在实际的多目标跟踪问题中具有广泛的应用前景。