多目标检测与跟踪技术在现代军事和民用领域都发挥着举足轻重的作用。由于目标数目的不确定性、易受杂波、噪声等复杂背景因素的影响，多目标检测与跟踪成为理论研究的难点问题。尤其是在低信噪比的环境中，弱小目标难以从背景噪声中区分开来，如何对多个弱小目标进行实时检测与跟踪成为值得深入研究的课题。本文重点研究基于随机有限集理论的多目标跟踪方法以及其在红外弱小目标检测前跟踪中的应用。首先，介绍了随机集多目标跟踪模型、PHD滤波及其两种实现形式，重点研究了高斯混合PHD滤波的平滑算法。针对传统高斯混合PHD滤波存在目标状态错误提取问题，改变了原算法中的状态提取策略，提出了一种改进算法。通过理论分析以及仿真实验，验证了该算法在高密度杂波条件下对杂波的抑制效果以及改进GM-PHD算法状态提取的准确性。其次，探究了PHD滤波器在低信噪比环境下多目标检测前跟踪问题中的应用问题，针对现有基于粒子PHD滤波的检测前跟踪算法存在计算复杂度高，粒子退化现象严重，跟踪精度差等问题，用拟蒙特卡洛高斯粒子滤波代替粒子滤波，提出一种新的基于PHD的检测前跟踪方法。仿真实验结果表明，该算法相比于传统方法，在降低算法复杂度的同时对多个弱小目标具有更好的实时检测和跟踪性能，为基于PHD的检测前跟踪方法在工程上的应用提供了可能。最后，研究了基于伯努利随机集的多目标检测与跟踪算法，重点介绍了图像量测下基于多伯努利滤波的联合检测与跟踪算法及其两种实现方式，粒子滤波实现和高斯粒子实现。针对基于多伯努利滤波的检测前跟踪算法存在某些场景中伯努利项错误合并的问题，修正了传统算法的伯努利项合并步骤，提出了一种改进算法。仿真实验对比了两种实现方式对多个弱小目标检测与跟踪的性能，验证了改进算法有效地解决传统算法在目标交叉场景中存在目标错误合并的问题。