复杂环境下的多目标跟踪问题给雷达系统带来了巨大的挑战。目前主流的多目标跟踪方法都基于贝叶斯滤波理论框架。其中,基于随机有限集（Random Finite Set,RFS）的高斯混合概率假设密度（Gaussian Mixture Probability Hypothesis Density,GM-PHD）滤波算法在杂波环境中表现出良好的跟踪性能,对比传统基于数据关联的多目标跟踪算法,具有无数据关联、复杂度低、对未知且时变个数目标的跟踪性能较强等优势,受到了广泛的关注。然而,GM-PHD滤波算法要求包含目标起始位置信息的新生目标PHD函数先验已知,并且因线性高斯假设而不适用于非线性系统,导致其应用场景严重受限;该算法还具有估计结果为RFS和无数据关联的特性,使其无法直接应用于航迹提取和管理。本文针对上述问题研究了相应的改进方法,并对雷达系统中基于数据关联的航迹管理方法进行了实现,主要内容如下:1.针对GM-PHD滤波要求新生目标PHD函数先验已知和不适用于非线性系统的问题,将量测驱动新生目标（Measurement-Driven Birth,MDB）PHD模型和部分均匀新生目标（Partially Uniform Birth,PUB）PHD模型分别与容积卡尔曼滤波（Cubature Kalman Filter,CKF）相结合,研究了两种改进方法:MDB-CK-GM-PHD滤波和PUBCK-GM-PHD滤波。两种算法都利用容积数值积分准则实现非线性滤波。其中,MDBCK-GM-PHD滤波利用量测集合对新生目标PHD函数自适应地估计;而PUB-CKGM-PHD滤波将新生目标PHD函数可观测部分近似为均匀分布以避免对其进行设置。仿真实验验证了两种算法在未知新生目标PHD非线性系统中的有效性,其中的PUB-CK-GM-PHD滤波的性能与已知新生目标PHD的GM-PHD非线性滤波相当。2.针对GM-PHD滤波无法直接进行航迹提取和管理的问题,研究了基于标签GM-PHD滤波的航迹管理方法。该方法引入了含有目标ID、确认和漏检计数变量的标签,实现了基于ID匹配和数据关联的航迹管理。仿真实验表明,该方法实现了航迹的提取和管理,并提高了目标交叉运动场景中的估计精度。此外,针对雷达系统工程中航迹管理的实际问题,设计并实现了基于C/C++的航迹管理模块。该模块以三点快速航迹起始为关键,以数据关联为核心。软件实验表明,该模块使雷达系统软件具备了航迹管理功能,具有重要的实用价值。