多目标跟踪问题由于其在军事、民事中的广泛应用前景,受到了国内外专家学者的高度重视,但由于滤波过程中需要处理诸多不确定信息,尤其是需要解决复杂的数据关联问题,因此多目标跟踪也是理论研究及实际应用中的难点问题。近几年,基于随机集的多目标跟踪方法由于无需解决数据关联问题,为多目标跟踪提供了全新的思路,因此给多目标跟踪领域带来了新的发展契机。但关于这种方法的科研工作尚处于理论研究阶段,如何将基于随机集的多目标跟踪方法应用于实际复杂环境是一项值得研究的课题。本文重点研究了在未知杂波、未知检测概率以及量化量测等复杂环境下的基于随机集的多目标跟踪方法。主要工作如下：首先,研究了两种基本的基于随机集的多目标跟踪算法：概率假设密度(PHD)算法和势概率假设密度(CPHD)算法,并详细阐述了未知杂波密度环境下的CPHD滤波。但由于其目标数估计是由整体观测数与杂波数相减得到,容易造成误差累积,本文指出了此算法在目标与杂波之间存在势分布分配失衡问题,提出了一种基于联合势分布修正的改进算法,较好地解决了未知杂波密度环境下的多目标跟踪问题。其次,针对未知检测概率问题,研究了检测概率估计方法,提出了一种极限检测概率估计法,有效地改善了估计方法的准确性；分析和研究了未知检测概率条件下的CPHD滤波,针对其中存在的两个问题：使用贝塔分布描述检测概率的失准问题以及对于检测概率估计的延迟问题,提出了一种改进算法,将极限检测概率估计方法融合到一般CPHD算法中,并根据预测检测状况的特殊性,给出了一种主动检测概率预测方法,在不增加算法复杂度的同时,提高了跟踪性能和检测概率估计精度。最后,研究了最近开始逐渐受到关注的非传统量测问题：量化量测,针对现有算法仅能处理单目标的情况,提出了一种量化量测条件下的多目标跟踪算法,以PHD算法为基础,使用预测观测分布近似实际分布,并根据量化方案进行截断,以获得对量化量测的似然函数的求解,实现了量化量测环境下基于随机集的多目标跟踪,仿真实验验证了算法的有效性。