在过去的20多年里,多输入多输出(Multiple-Input and Multiple-Output, MIMO)技术得到了广泛的发展和成功的应用。在传统MIMO系统中,收发端使用的天线数量一般小于8根,属于小规模多天线系统。理论研究已指出,增加天线数可以增加MIMO系统空间自由度从而提高系统速率和可靠性。此外,随着天线数量的增加,系统还可以获得更高效的能量利用率以及高的鲁棒性和安全性。为了满足未来对更高速无线传输的需求,使用较大规模天线被认为是未来宽带无线通信系统的一个重要特征之一。由于时分双工(Time Division Duplexing,TDD)具有无线信道互易性的天然优势,较大规模天线系统更适合于在TDD模式下工作。论文基于TDD模式的多用户场景,结合实际部署时所遇到的部分问题挑战,研究两类典型且特殊的较大规模天线阵列的发送端预处理关键问题和解决方案。第一类是射频／模拟前端数少于天线数的集中式较大规模天线阵列。使用此类天线的典型系统为毫米波无线通信系统。在天线数与射频／模拟前端数相等的传统多天线系统中,阵列波束赋形能够全部在数字基带上实现。而当射频／模拟前端数少于天线数时,为了能够充分利用天线阵列的增益,需要将一部分波束赋形转移到模拟域上进行,将另一部分留在数字域上进行,从而形成两级波束赋形的结构。另外,受到实现复杂度的限制,模拟域波束赋形的灵活性不如数字域波束赋形。传统的纯数字基带的预处理技术不能直接应用到这类天线系统中。针对此类天线结构,论文着眼研究在低成本毫米波系统中的多用户方案以及多用户模拟／数字混合波束赋形的优化问题。第二类阵列为分布式协作虚拟阵列,其中天线数与射频/模拟前端数相等。相应的一个典型系统为网络MIMO系统。天线射频／模拟前端的收、发模块系数失配(简称收、发模块系数失配)是实际TDD系统中普遍存的一个非理想因素。它导致多天线系统中阵列天线间失配并影响上、下行基带信道矩阵的互易性,从而能够对基于TDD的多用户MIMO系统带来严重影响。对于此类阵列,本文深入分析天线间失配的影响特性并着重研究网络MIMO中分布式天线校准技术。论文的主要创新点包括：第一,针对使用低成本相控阵列的60GHz无线系统,论文研究该系统中低复杂度多用户实现方案。所提方案分为调度、波束赋形训练和数字域干扰抑制三个阶段,解决的关键问题为用户的配对以及模拟/数字波束赋形的确定。方案可与现有60GHz无线系统中常用的单用户波束赋形训练过程相结合,调度相互间干扰不强的多个用户。发端使用模拟波束赋形提高链路质量,使用数字预编码消除调度用户间干扰。在数字域干扰抑制阶段,可利用TDD信道互易性以较低的开销获得发端与收端用户间的等效信道。该方案的低复杂性主要在于它无需对收、发端间大规模信道矩阵做显性检测,同时也不要求知道用户地理位置信息。论文基于IEEE802.11ad的信道模型对所提方案在视距(Line-of-Sight, LoS)和非视距(Non-Line-of-Sight, NLoS)场景下进行了评估,仿真结果显示,所提调度方案可以有效的避免用户间强干扰并得到较好的平均信干噪比(Signal-to-Noise-Ratio, SINR)。此外,当多普勒效应不明显时,在数字域进一步做干扰抑制后,低SINR区域能够获得较明显的性能改善。而当存在信道信息过时的情况时,模拟波束赋形的性能几乎不受多普勒效应影响,但数字基带上进行的多用户干扰抑制的性能易受到明显影响。论文所提出的多用户方案适用于环境变化不剧烈的场景。第二,针对多用户模拟／数字混合波束赋形,论文研究两个相互联系的优化问题：(1)当存在每个子载波用户SINR约束时,最小化平均每个子载波的发射功率；(2)当存在平均每个子载波的发射功率约束时,最大化最小SINR。所研究内容是对传统针对纯数字波束赋形优化研究的扩展,同时也是对已有单用户模拟／数字混合波束赋形向多用户的扩展。论文分别对上述两个混合波束赋形的优化问题进行可行性分析、研究相关问题最优解处的相关性质并且结合半正定规划(semi-definite program,SDP)松弛法给出两个优化问题的次优求解算法。最后,通过仿真评估所提算法的收敛性能和收敛值。该部分所研究问题不仅适用于毫米波无线系统,也适用于工作在低频段但对功耗和成本敏感的较大规模天线系统。基于仿真结果可以得到以下结论。当不同子载波的信道间相关性较高,模拟/数字混合波束赋形在最优性能方面可以逼近相同天线下的纯数字波束赋形。反之,当子载波信道间相关性低时,由于使用频域平坦的模拟波束赋形权重,混合波束赋形性能与相同天线下纯数字波束赋形性能差距较明显。此外,在60GHz LoS信道模型下,优化后的每个射频/模拟前端的模拟波束赋形的方向与用户间的空间分离度有关。当用户空间分离度较高时,将不同射频/模拟前端的模拟波束赋形的主瓣分别指向不同的用户,即在模拟域上进行部分多用户间干扰抑制能够获得较低的发射功率或较高的Max-min STNR。而当用户空间分离度较低时,今每个射频/模拟前端的模拟波束赋形方向同时指向所有用户,而让数字域波束赋形完成多用户间干扰抑制,往往能够获得更低的发射功率或更高的Max-min SINR。第三,针对TDD大线间失配的问题以及网络MIMO甲大线校准技术,论文分析了天线间失配的影响特性并提出了两根相邻分布式天线间校准改进算法以及适用任意规模分布式天线校准系数计算的方案,具体如下。现有的研究已指出基带信道不互易会引入MIMO多用户间干扰。然而针对天线间失配造成的多用户间干扰的统计特性以及预编码的扰动分析的研究还较少。当基站侧天线间失配时,论文分析了仅有幅度失配所产生多用户间干扰功率和仅有相位失配时所产生多用户间干扰功率之间的关系。该关系可用于比较由幅度失配和相位失配引起的多用户间干扰的大小。而当用户天线间失配时,本文分析了基于奇异值分解(Singular Value Decomposition, SVD)分解和Moore-Penrose伪逆的预编码的部分扰动特性。对天线间失配影响的分析结果不仅能让我们更深入的认识天线间失配对MIMO(包括网络MIMO)系统的影响,而且也有助于实际天线校准方案的设计。天线校准的目的在于减小或消除天线间失配的影响。传统集中式阵列天线的天线校准方法通常需要借助硬件支持,不适合扩展用于校准分布式的天线。相比较而言,空口校准技术更适合于分布式天线的场景。对于基于空口的两根分布式基站天线间的校准,本文提出一种对现有方法的改进方法。该改进方法是对现有方法的一个扩展,它可以获得比现有方法更小的校准误差。此外,本文进一步研究适用于任意规模的分布式天线系统的校准系数计算方案。该方案结合分集的思想,通过合并由多个参考源计算的临时校准系数得到每根分布式天线的最终校准系数。论文还给出了两种确定每根分布式天线最终校准系数的算法。仿真结果验证了文章所得相关性质并比较了不同参数下不同校准方法的性能。