传统通信系统接收端算法往往都假设接收信号的维数或信号所经历信道的维数为常数,从而导致算法在实际应用中性能不佳。应用随机集理论建模无线通信领域中信号数或信道多径分量数变化的情况,并且基于此模型研究接收端算法,将具有重要的理论意义和应用价值。本文主要研究随机集理论在MIMO-OFDM信道估计、多用户检测中的应用。首先,阐述了随机集基本理论,及该理论的应用现状,并详细介绍了贝叶斯递归算法和粒子滤波算法,分析各算法的特点。其次,研究了基于随机集的MIMO-OFDM信道估计方法。传统的采用基于导频和盲信道估计算法在多径分量数已确定的前提下能获得较好性能。但是,实际无线环境中,多径分量数目与幅度皆为变量,则常规信道估计方法不再适用。本文用随机集理论建模通信过程中信道多径分量数目变化的情况,给出了基于随机集理论的MIMO信道模型和信道最佳估计。提出了基于粒子群的信道估计方法,研究了基于基本粒子滤波(PF)和Rao-Blackwellised粒子滤波(RBPF)的信道估计方法。为进一步改进采用RBPF的信道估计算法性能,提出了集中粒子重采样空间方案,在保留大概率粒子抽样样本的同时主动抛弃小概率抽样样本,以获得各迭代时刻更为准确的真实样本逼近。基于此RBPF,得到了集中采样方案的RBPF(RBPFC)信道估计方法。仿真结果表明:本文RBPFC的信道估计方案性能最好,RBPF信道估计方案次之;基于粒子群算法的信道估计方法再次之,但优于基于PF的信道估计方法;基于卡尔曼滤波的信道估计方法性能最差。最后,研究了基于随机集的MC-CDMA多用户检测,在移动多址系统中,活跃用户个数及其参数随时间不断变化。多用户检测中往往假定接收端已知活跃用户数,一般为系统所能容纳的最大用户个数。由于某些时刻某些用户处于休眠状态,此情况下传统多用户检测方法性能很差。本文采用随机集模型拟合现实情况中MC-CDMA系统活跃用户数时变情况,研究了基于随机集的多用户检测的最大似然方法(RST ML)、最大后验概率方法(RST MAP)、Bayes滤波方法(RST bayes)、Viterbi检测(RST viterbi)。为了克服这些算法的计算量随用户数增加呈指数上升的缺陷,提出了多进制粒子群算法与随机集相结合的检测方法(RMV PSO)。仿真结果表明,动态情况下,RST bayes方法性能最优,RST viterbi次之,RST MAP再次之,三种RMVPSO算法性能略比RST MAP差,但前三种方法复杂度高,不宜实际应用;非线性三进制粒子群算法性能优于线性三进制粒子群算法,但后者计算复杂度低。