通信信号处理通常将通信系统建模为线性、高斯动态空间模型，然而事实上发射功率放大器并非完全工作在线性状态，室内外人为和自然的电磁干扰使得无线通信中存在着大量的冲击噪声，因此无线通信的信号处理问题实际上是非线性、非高斯系统的状态估计问题。粒子滤波(PF)在非线性和非高斯模型下具有独到优势，对其进行研究具有重要的理论意义与应用价值。本文主要研究粒子滤波算法在多用户检测、混沌信号分离中的应用。首先，从贝叶斯估计和蒙特卡罗(Monte Carlo)方法出发，详细阐述了粒子滤波的理论基础和算法的基本原理，并给出了完整的算法流程。其次，研究了基于粒子滤波算法的时变多用户检测。传统多用户检测方法通常假定系统的活跃用户数固定不变，其一般为这个系统所能容纳的最大用户个数。在此前提下，传统多用户检测方法能够获得较好的性能。然而在实际多址移动通信系统中活跃用户个数及其参数往往都是时变的，此时传统多用户检测方法性能不佳。因此，有必要寻求一种动态估计方法，以实现活跃用户数目、用户参数以及用户数据的联合估计。针对这个问题，本文利用随机集理论建立多用户动态模型，对于活跃用户个数时变的CDMA系统，研究了基于马尔科夫蒙特卡罗粒子滤波的多用户检测方法，实现了用户状态和数据的联合估计；对于活跃用户个数及其幅度皆时变的CDMA系统，提出了采用Rao-Blackwellised粒子滤波（RBPF）算法的时变多用户检测器，实现了活跃用户数目变化和幅度变化的跟踪及用户发送数据估计。算法在误码率、系统容量、远近效应等方面的性能结果表明，本文算法性能明显优于传统的最优多用户检测算法（OMD）和基本粒子滤波(PF)算法.最后，研究了动态环境下基于粒子滤波的混沌信号盲分离。当源信号个数固定时，传统的分离方法能够获得较好的分离效果。但实际环境中源信号个数是时变的，此时传统方法难以实现盲分离。本文先利用随机集模型拟合源信号个数的时变情况，然后以粒子滤波算法跟踪活跃信号数目，同时实现混沌信号分离。仿真结果表明，本文提出的算法能够有效地实现源信号个数时变情况下的混沌信号分离。