目标跟踪是现实世界中的基本问题。随着现代探测技术的发展、武器装备的进步、目标及环境复杂性的增加,目标跟踪系统面临诸多新问题与新挑战,密集多目标场景下的跟踪问题包括群目标跟踪问题越来越多地得到人们的关注。群目标由一组空间距离较近且运动特性相似的目标构成。本文依据雷达分辨率的高低,将群目标跟踪分为不可分辨群目标跟踪和可分辨群目标跟踪两个方面,并结合随机有限集(RFS)框架下的滤波算法,对这两个方面进行研究,主要工作包括:(1)不可分辨群目标跟踪算法研究。针对群内目标不可分辨的情况,考虑直接对群整体进行跟踪。对基于椭圆随机超曲面模型(RHM)的高斯混合概率假设密度(GMPHD)群目标跟踪算法进行研究,并针对其在群目标交叉时刻量测划分不准确,划分数多、运算量大的问题,提出一种基于均值漂移(MS)和双层群结构(BGS)模型的GMPHD群目标跟踪算法。通过使用MS算法进行量测划分,大幅减少了量测划分数,降低了运算量;同时,针对群目标交叉时刻的漏估问题,提出一种BGS模型,通过构建第二层群结构模型,探索不同群间的关系,并将该信息反馈回量测划分步以指导下一时刻的量测划分。改进后的算法解决了群目标交叉时刻的漏估问题,减少了量测划分数,降低了算法的运算量。(2)可分辨群目标跟踪算法研究。在群内目标可以分辨的情况下,如果单纯采用不可分辨群目标跟踪算法对目标进行跟踪,将导致估计结果过于粗糙,丢失许多关于群结构的信息,而这些信息将可能对后续的判断与决策起到至关重要的作用。针对这种情况,我们采用演化网络模型对群结构进行建模,并与箱粒子PHD滤波器结合对群目标进行跟踪。算法可以动态地获得群内每个目标的状态和群结构特性,进而实现对群整体的稳定跟踪。在此基础上,为了提高算法的估计性能,引入了目标数的势分布,提出一种基于演化网络模型的箱粒子CPHD群目标跟踪算法,相比于传统的粒子CPHD群目标跟踪算法,所提算法大幅减少了采样所需的粒子数,降低了运算量;而与箱粒子PHD群目标跟踪算法相比,所提算法在强杂波环境和低检测概率环境下均具有更好的估计性能。