作为第四代和第五代移动通信的核心技术,正交频分复用(OFDM)系统能利用窄带正交载波解决频率选择性衰落问题,而多输入多输出(MIMO)系统则利用不同位置天线所具有的空间资源,增加信道容量、提高分集增益。将MIMO和OFDM相互结合可以有效实现两种技术的优势互补,提升系统性能。近年来出现的大规模MIMO系统,以极高的系统容量、频谱和能量效率迅速成为通信领域的研究热点,但是较大的天线规模所引起的多用户检测、信道估计和复杂度问题给接收机算法设计提出了更高的要求。本文针对下一代移动通信中的MIMO和OFDM系统开展研究,提出了利用因子图和消息传递的联合信道估计和检测算法,解决了现有迭代接收机中性能和复杂度无法兼顾的问题。本文的主要工作归纳如下:1.针对OFDM系统,设计了一种能够适用于稀疏信道环境的迭代接收机算法。对现有的接收机模型进行图变换,提出了一种联合平均场和期望传播的接收机算法。根据信道的稀疏性,将稀疏贝叶斯学习理论应用于信道估计建模,以降低导频开销提升频谱效率。然后利用大数定理对所提算法进行近似,找到与广义近似消息传递算法的内在联系,进而得到了更低复杂度的接收机算法。在此基础上研究了不同的消息调度机制,为后续的迭代算法设计提供了参考。仿真结果表明,与现有OFDM接收机相比本文所提算法能够以相同复杂度实现更优的性能。2.针对MIMO-OFDM系统,设计了基于图变换和消息传递的迭代接收机算法。利用图变换的方法将MIMO系统中的多用户干扰问题进行功能划分,分别利用不同的消息更新规则,构造了联合迭代接收机算法。然后提出了一种协作消息更新规则,实现置信传播和平均场两种规则的协作更新,从而构建了一种低复杂度的协作接收机算法。利用中心极限定理对所提协作接收机算法进行近似,找出与已有的双线性广义消息传递算法的内在联系,证明了上述协作规则的合理性。最后依据不同用户的信道状况建立更适合实际通信环境的部分高斯近似算法。仿真结果表明,本文所提联合接收机算法能够以略高的复杂度显著提升接收机性能,协作接收机算法能够以更低的复杂度获得较好的性能,部分高斯近似算法对两者进行互补,实现了性能和复杂度的均衡调整,具有较高的应用价值。3.针对大规模MIMO-OFDM系统,本文提出了通过挖掘天线阵列聚类特征以提升性能的低复杂度接收机算法。首先引入机器学习领域的Dirichlet过程作为稀疏贝叶斯学习模型的先验分布,建立了适用于大规模MIMO-OFDM系统的数学模型。通过图变换和联合消息更新规则对上述模型进行消息计算和调度,构造能普遍适用于多重测量问题的聚类估计算法。然后设计了一种基于概率的大规模MIMO系统信道建模方法,通过调整概率参数和突变参数模拟不同的传播环境,建立了具有不同相关度的信道模型。仿真结果表明,本文所提联合接收机算法能够充分发掘大规模MIMO-OFDM系统的空间资源,对具有共同稀疏性特征的天线进行聚类估计,相比现有接收机算法表现出明显的性能增益和较强的鲁棒性。