多目标跟踪的目的是从一组受杂波干扰、漏检、虚警等影响的不完全量测集中估计目标状态及其轨迹数。传统多目标跟踪算法以复杂的数据关联为基础,而基于随机有限集（RFS）的跟踪算法将数据关联集成到滤波阶段,以处理时变目标数、有效避免数据关联引起的组合爆炸等诸多优点成为多目标跟踪领域的研究热点。多目标跟踪领域中通常将目标假设为点目标,一个目标仅产生一个量测,而群目标包含多个运动状态相似的目标成员,会产生多个量测。尽管多目标跟踪技术已经取得了显著进展,但在复杂跟踪场景及高传感器精度下的多目标跟踪研究仍面临诸多难题。为此,本文聚焦基于标签RFS实现的广义标签多伯努利（GLMB）滤波器,针对点目标和群目标两种目标类型,着重研究点目标跟踪中非线性扩展问题以及可分辨群目标跟踪中隐式数据关联问题。本文的主要贡献如下:1、研究基于δ-GLMB滤波器的多目标跟踪非线性扩展。针对高斯混合实现的VB-δ-GLMB滤波器在非线性系统下跟踪性能差的缺陷,本文引入临近点算法（PPA）和变分贝叶斯（VB）优化,结合容积卡尔曼滤波（CKF）提出一种非线性滤波算法PCKF-VB-δ-GLMB。该算法通过δ-GLMB滤波估计目标状态及数目,并采用非线性滤波方法PCKF-VB更新高斯分量参数,使其适应非线性场景。此外,本文将RTS平滑与PCKF-VB方法结合,进一步提升算法在非线性场景下的跟踪精度。仿真实验结果证明了本文所提算法的有效性和鲁棒性。2、研究基于J-GLMB滤波器的可分辨群目标跟踪。针对联合GLMB（J-GLMB）滤波过程中群目标之间距离较近容易关联错误的问题,本文结合超图匹配（HGM）提出一种基于HGM-J-GLMB滤波器的可分辨群目标跟踪算法。该算法采用JGLMB滤波器估计群内各目标状态、数目及轨迹信息,并将量测和预测状态建模为超图,利用超图匹配生成的顶点匹配矩阵修正关联概率,进而提升量测与预测状态之间的关联性能。此外,本文通过平滑算法改善滤波效果,并设置轨迹长度阈值,使其在平滑状态的同时达到消除短轨迹的目的。仿真实验证明,所提算法在线性系统和非线性系统下均能有效提升群目标跟踪性能。