多目标跟踪问题在军用和民用方面一直受到广泛关注,由于观测区域中新生目标的出现以及已有目标的丢失,加上传感器的检测不确定、观测值和目标的关联不确定以及杂波噪声导致的虚警,多目标跟踪即是利用传感器的观测集合,对时变目标个数以及对应的目标状态联合估计。随机有限集(RFS, Random Finite set)的贝叶斯估计方法是近年来快速发展的一类多目标跟踪算法。RFS类方法将各时刻多目标状态和观测值表征成RFSs,利用贝叶斯框架实现各时刻多目标状态的估计。相比于传统的基于关联的多目标跟踪算法,它避开了观测值与目标关联的问题。本文基于RFS理论,对雷达背景下的多目标跟踪问题进行了系统的研究,所取得的主要研究成果为：1.针对无源相参雷达系统背景下多个高速机动目标跟踪的问题,提出一种扩展的多模型(MM, multiple model)概率假设密度(PHD, Probability Hypothesis Density)滤波器的粒子滤波实现方法。传统的MMPHD假定新生目标的强度函数先验已知,但是无源雷达背景下新生目标可在监视区域任意位置出现,且速度取值范围大,此时传统方法失效。该算法基于传统MMPHD滤波器,利用各时刻远离多目标状态估计的定位结果,自适应初始化各时刻新出现的目标,有效跟踪多个高速机动目标。仿真实验验证了所给方法的有效性。2.针对标准的带势概率假设密度(CPHD,Cardinalized PHD)滤波器假定新生目标的强度函数先验己知,因而无法应用于新生目标在场景中任意位置出现的环境的问题,提出一种单步初始化的高斯混合CPHD(GMCPHD, Gaussian mixture CPHD)滤波器(GM-CPHD-I-DI)。该滤波器利用位置上远离当前时刻估计状态的观测值单步初始化新生目标。此外,多普勒信息一方面被用来初始化新生目标的速度,另一方面在滤波器更新步骤中,被用来再次更新径向距离和角度观测值更新的中间状态。相比于已有的自适应新生目标强度的PHD滤波器(GM-PHD-I-DI),所提算法对目标个数估计的标准差降低了70%以上,同时降低了联合表征目标个数和目标状态估计的优化子模式分配(OSPA, Optimal SubPattern Assignment)误差。3.针对传统的高斯混合(GM, Gaussian Mixture)多模型CPHD(MMCPHD)滤波器的计算复杂度高的问题,提出一种扩展的高斯混合带势概率假设密度滤波器跟踪机动目标(GM-BFGCPHD)。该扩展滤波器基于BFG估计方法,用一单模型方式表征多机动目标的预测强度函数和势分布,从而使得其更新等式独立于机动目标的运动模型。理论分析和仿真实验表明,相比于传统的GM-MMCPHD滤波器,在机动目标运动模型个数为M的情况下,GM-BFGCPHD滤波器在保证性能不损失的前提下,其算法复杂度降低了O(M)。4.针对传统的多模型RFS类方法假定杂波统计特性先验已知,不适用于未知杂波背景下的多机动目标跟踪的问题。以GMCPHD滤波器为基础,提出一种未知杂波下的多机动目标跟踪算法。该算法对目标和杂波分别独立建模,通过BFG估计方法对真实目标的强度函数进行预测,从而使多目标强度函数独立于机动目标的运动模型,实现各时刻真实目标的强度函数、杂波源期望个数以及真实目标和杂波源的混合势分布的迭代。仿真结果表明,该算法能够有效地联合估计多机动目标状态以及杂波期望个数。5.针对多站无源雷达背景下多起伏目标同时检测和跟踪的问题,提出一种基于多目标多伯努利(MeMBer, Multi-target Multi-Bernoulli)滤波器的多起伏目标检测前跟踪(TBD,Track-Before-Detect)算法。由于起伏目标的平均信噪比(SNR, Signal-to-Noise Ratio)未知使得目标的回波幅度似然函数不确定,假定包络检波器的输出平均SNR服从先验的均匀分布,并对可能取值区间进行边缘化处理,得到一个估计的似然函数,基于该估计的似然函数,融合中心利用所有收发对的幅度观测信息对MeMBer滤波器的各个预测分量进行更新。仿真结果表明,该算法能够有效地同时检测和跟踪多起伏目标,并且在平均SNR大于9dB时,其性能与平均SNR已知情况下的性能近似。