随着高分辨率传感器技术的飞速发展,一个目标在传感器扫描过程中占据多个分辨单元的现象越来越普遍,这与传统点目标跟踪问题中一个目标只能占据一个传感器分辨单元的假设相违背。一般将这种目标可能占据多个传感器单元的跟踪问题称为扩展目标（Extended Target Tracking,ETT）跟踪。近年来基于随机有限集（Random Finite Set,RFS）框架下的多扩展目标跟踪技术引起了国内外学者的广泛关注,随之涌现出大量的解决方法。然而该技术仍然面临着诸多挑战和问题,比如目标外形变化测度、机动问题、先验信息未知以及目标内部关系处理等。基于RFS理论,本论文为ETT跟踪技术存在的问题提供了重要的解决方法,其中包括任意外形建模、机动目标跟踪、先验信息未知以及群内关系建模等一系列工作,获得的主要成果如下:1.将时空高斯过程建模法（Spatio-temporal Gaussian Process,STGP）引入RFS理论,利用概率假设密度（Probability Hypothesis Density,PHD）滤波传播多个不规则外形目标RFS的一阶统计矩,推导出其高斯混合（Gaussian Mixture,GM）形式的闭式解以及对应的平滑滤波,提出STGP-PHD算法。所提算法在杂波、虚警和漏检条件下对任意外形目标的跟踪具有稳健性和有效性。2.利用伽马高斯逆威夏特（Gamma Gaussian Inverse Wishart,GGIW）分布为扩展目标状态建模,融合多种运动模型,将交互式多模型（Interactive Multi Model,IMM）和强跟踪滤波（Strong Tracking Filter,STF）的渐消因子引入GGIW泊松多伯努利（GGIWPoisson Multi-Bernoulli Mixture,GGIW-PMBM）滤波,提出（MM-GGIW-PMBM）算法。结果表明该算法能够有效防止多机动扩展目标跟踪模型失配的现象。3.基于GGIW-PMBM滤波,提出一种新的基于扩展目标量测驱动的自适应新生算法,引入贝塔（Beta）分布描述未知检测概率,推导出BGGIW-PMBM算法及其GGIW混合形式实现的闭式解。并且,利用吉布斯采样算法解决该算法中由于复杂数据关联造成的计算瓶颈。该算法对先验信息未知的多扩展目标跟踪问题具有鲁棒性和实用性。4.基于PMBM滤波,利用邻接矩阵分别描述未知群成员以及已检测到的群成员的关系,引入虚拟领导者模型分别为泊松点过程（Poisson Point Process,PPP）以及多伯努利混合（Multi-Bernoulli Mixture,MBM）的群体动态演化建模,提出针对可分辨群的PMBM跟踪算法。该算法对群体数量不确定的扩展目标跟踪具有稳定的性能。