MIMO技术为通信系统带来了复用增益、分集增益和阵列增益，可以大大地提高系统的频谱效率和功率效率。然而，如果将MIMO技术直接应用于传统同频组网的蜂窝系统中，会存在较为严重的小区间干扰，极大地限制了系统频谱效率的提高。大规模MIMO技术是一种有效地降低小区间干扰的方法，它通过在基站端配置大规模天线阵列以此替代目前的多天线，深度挖掘和利用空间维度无线资源，可以进一步提高系统的传输效率并降低能耗。然而大规模MIMO系统的性能严重依赖于基站端配置天线的个数。研究结果表明，协作MIMO技术可以有效地抑制小区间干扰，大幅度地提升系统尤其是小区边缘用户的性能，而且还可以大大降低大规模MIMO系统对天线个数的要求。本文考虑两种协作MIMO系统，分别是基站协作MIMO系统和同一基站不同远程天线单元间协作的大规模分布式MIMO系统。在基站协作MIMO系统中，设计不同协作场景中针对不同优化目标的预编码。在大规模分布式MIMO系统中，分别分析采用线性接收机和线性预编码时系统的上下行频谱有效性。本研究主要内容包括：　　⑴研究了如何得到两用户MISO干扰信道帕累托速率边界的闭式解及其在数据共享场景中的应用。给出了两用户MISO干扰信道的等价信道模型，利用该等价信道模型简化最优波束成形向量的求解过程。在给出两用户MISO干扰信道帕累托边界的完整描述之后，提出了拟最优的分布式波束成形算法。将优化变量从预编码向量转换为新定义的角度变量，以此重新描述非凸的加权和速率最大化问题。提出加权泄露信号噪声比最小化问题，建立它与通过忽略加权和速率最大化问题非有效限制条件得到的非受限优化问题间的等价关系，基于该等价关系提出了一个集中式加权泄露信号噪声比最小化算法来找到本地最优加权和速率点，算法的每一步都可以通过求解闭合表达式得到。利用高信干噪比近似，论文还提出了一种只利用本地信道状态信息的分布式波束成形算法。此外，基于分层信道的观点，论文利用一种启发式功率分配机制将MISO干扰信道中的波束成形算法推广到了数据共享场景。仿真结果表明集中式算法可以得到本地最优加权和速率性能，分布式算法仅利用本地信道状态信息得到了非常接近于最优的性能。　　⑵基于上下行对偶理论，论文研究了多小区多用户动态协作场景中的预编码设计问题。上下行对偶理论是一种非常有效的优化下行预编码问题的方法。然而，静态协作场景中的波束成形对偶理论，虽然应用起来较为简单，但是系统的性能仍然受限于簇间干扰。论文将波束成形对偶理论推广到适应于任何协作机制的动态协作场景，建立了多小区多用户动态协作场景中的上下行对偶关系，通过对偶上行优化问题求解考虑每基站功率受限在满足给定每用户信干噪比目标的情况下最小化总发送功率的优化问题，给出了波束成形最优性的条件，并利用拉格朗日对偶理论推导了最优的下行波束成形设计。仿真结果验证了所提算法具有较好的收敛性，而且所提算法在MISO干扰信道中利用最大发送功率达到了最优的和速率性能，在数据共享场景具有更好的能量效率。　　⑶考虑导频污染，论文分析了大规模分布式MIMO系统的上行频谱有效性。基于Gamma随机变量的性质，论文推导了单小区多用户大规模分布式MIMO系统采用最大比接收时上行可达速率的闭合表达式。考虑最小均方误差信道估计，论文给出了多小区多用户大规模分布式MIMO系统具有导频污染时的等价信道模型，基于该等价信道模型，推导了多小区多用户大规模分布式MIMO系统采用最大比接收时上行可达速率的闭合表达式。论文还分别给出了单小区和多小区大规模分布式MIMO系统当发送天线数与用户数之间的比值趋于无穷大时的上行极限速率表达式。此外，论文利用推导出的速率闭合表达式分析了系统的频谱有效性，并将大规模分布式MIMO系统和大规模MIMO系统的频谱性能在不同场景下进行分析比较。仿真结果表明，我们推导的闭合表达式即使是在天线数较少的情况下都能很好地逼近真实值，而且在总的发送天线个数相同时大规模分布式MIMO系统相较大规模MIMO系统具有较大的性能增益。　　⑷针对联合相关信道模型，论文分析了考虑导频污染时大规模分布式MIMO系统的下行频谱有效性。对于一般的信道模型，当考虑远程天线单元的天线间具有相关性时很难给出频谱效率的计算表达式，因此论文针对具体的物理信道模型推导可达速率的闭合表达式。论文推导了当远程天线单元的天线间具有相关性时单小区多用户大规模分布式MIMO系统采用最大比发射预编码时下行可达速率的闭合表达式，并验证了该表达式的准确性。考虑导频污染，论文给出了考虑远程天线单元的天线间具有相关性时的等价信道模型，在此等价模型下，推导了多小区多用户大规模分布式MIMO系统采用最大比发射预编码时下行可达速率的闭合表达式，并给出了当总发送天线数与用户数之间的比值趋于无穷大时下行极限速率的表达式。仿真结果表明我们推导的闭合表达式在总发送天线数与用户数之间比值的所有区间内都能很好地逼近仿真结果。另外当用户分布在小区边界和最差位置分布点时，我们还分别比较了大规模分布式MIMO系统和大规模MIMO系统的可达速率性能。仿真结果表明，相较大规模MIMO系统，大规模分布式MIMO系统在不同的场景中都获得了较大的性能增益。本章的理论结果可以应用到基站天线集中放置的大规模MIMO、网络MIMO以及基站天线完全分布式放置的大规模分布式MIMO场景。