作为下一代无线通信系统的关键技术之一,大规模MIMO(Massive Multiple Input Multiple Output,Massive MIMO)技术在传输速率、能量效率等方面具有显著的优势,因此成为当前研究的热点。然而,在实际系统中,受用户分布、衰落类型和基站天线数等因素的综合影响,寻求复合衰落信道下和速率简洁的表达形式,并以此为性能指标,设计低开销、低复杂度的预编码是一项具有挑战且至关重要的工作。本文针对实际场景中用户分布的疏密性、大量天线时编码方案的复杂度、复合衰落下系统速率的直接解、天线数趋于无穷时和速率的渐近性等问题,依次从“大规模”、“分布式”和“大规模分布式”三个侧面展开研究。首先,在大规模MIMO系统中,本文针对用户具有疏密分布的特征,研究了对孤立用户的干扰进行分类减轻的预编码;然后,在分布式MIMO系统中,针对服从瑞利-对数正态分布的复合衰落信道,研究了系统的和速率,并以此为性能指标研究了带有功率分配功能的预编码;最后,在大规模分布式MIMO系统中,针对天线数量极大甚至趋于无穷的情况,研究了系统的和速率及其渐近特性。具体来讲,本文的主要工作和成果如下:1.提出了适用于大规模MIMO系统的,基于干扰分类减轻的预编码算法。此项工作针对用户疏密分布的特点,首先基于高聚用户信道相关矩阵的特征,定义了用户团和孤立用户两种用户单元;然后借助子空间填充问题(Subspace Packing Problem)中的弦距离(Chordal Distance)和富比尼学习距离(Fubini-Study Distance)度量准则,提出了结合用户单元的主项阶特征空间相似性和对孤立用户的干扰进行分类减轻的用户分组方法;接着设计了基于干扰分类的预编码算法,在用户组之间采用近似块对角化(Approximated Block Diagonalization)的预赋形消减组间干扰(Inter-Group Interference),在用户组内部通过干扰消除辅助的迫零(Zero Forcing,ZF)和正则迫零(Regularized ZF,RZF)预编码消减组内干扰(Intra-Group Interference)。仿真结果验证了该分组和预编码算法的有效性,并对网络结构的设计有所启发。2.提出了适用于分布式MIMO系统的,复合衰落信道下的和速率分析方法。此项工作针对复合衰落信道对系统的重要影响,在迫零和判决反馈迫零(Decision Feedback Zero Forcing,DF-ZF,以下简称DF)两种接收机制下,首先基于随机矩阵理论,通过对难积分的巧妙处理,获得了和速率关于信噪比负幂次方的级数表达式;然后利用该形式快速收敛的特点,仅使用其前三项作为对系统性能直接而简洁的评价指标,提出了分布式发射功率约束下最大化系统和速率的最优功率分配算法;接着基于该最佳功率下的对角阵形式预编码,仅利用信道的二阶统计信息,提出了带有功率分配功能的全矩阵形式预编码。这里,外层预编码只需要信道的二阶统计信息就可以大幅提升系统性能,而内层预编码则通过功率优化使系统的和速率最大化。仿真结果验证了和速率表达式的正确性、有效性,以及全矩阵预编码的优越性。3.提出了适用于大规模分布式MIMO系统的,和速率的渐近分析方法。此项工作针对“大规模”场景下小尺度衰落和噪声的影响降低、而“分布式”结构中大尺度衰落的作用日益凸显的特点,从建立复合衰落信道下ZF和DF两种接收机的信号传输模型入手。一方面,对原始问题中复杂的和速率进行求解,提出了分析系统和速率的一般方法。即先基于随机矩阵理论将和速率表示为二重积分的形式,再通过对难积分的处理将和速率的分析问题转化为对不完全伽马函数的处理问题,最终得到和速率关于天线数的级数展开式。另一方面,充分发掘和速率表达式的良好数学特性,并借助托普利兹矩阵的相关理论,获得了天线数趋于无穷时和速率的渐近结果。其稳态特性在系统设计方面具有重要的参考意义。仿真结果验证了和速率表达式的正确性,并反映了不同参数对和速率的影响。