人们对便捷通信不断增长的需求推动了无线通信新技术的迅猛发展。作为3GPP LTE的关键技术,多小区之间的基站协作以虚拟MIMO的方式获得空间分集,能够有效地抑制小区间干扰,提高系统的频谱效率。然而,多小区蜂窝系统具有地理上分散的天线,作为MIMO技术在蜂窝系统中的推广,要让多小区协作处理成为现实还有许多困难要解决。首先是选择哪些基站或用户参与协作,实现以较低的复杂度达到系统整体性能的优化；其次,协作需要基站之间交换数据和信道状态信息,这给回程链路带来了较大的负担。另外,如何抑制小区间干扰也是个新课题。因此,研究蜂窝网络下行链路的基站协作技术,具体研究波束成形、用户调度、有限反馈等手段,以实现多小区协作,达到最大程度干扰抑制从而增加容量的目的依然是重要的研究课题。论文从传统的MIMO技术入手,分析了多小区协作处理的优势,针对协作用户和反馈量的选择、多小区下行链路波束成形算法以及信道状态信息的利用、能量有效性等问题,提出了一些新方法和新思路,得到了相应的研究成果。归纳起来,主要工作如下：第一,在降低复杂度方面,将选择多用户分集的思想应用到多用户MIMO系统中,以SINR作为信道质量的度量,提出了选择最大多用户分集MIMO信道调度方法,每个用户将最大的信干噪比值与设定的门限比较,只有大于门限的值及对应的发射天线序号返回给基站,基站分配独立的信道给具有最大信干噪比的用户,分析了所提方法对应的系统平均容量和归一化反馈负载的理论表达式；所提方法的性能仿真结果与分析一致。注意到MIMO系统的信道容量由信道矩阵的特征值确定,是特征值的函数,提出了基于特征分解的天线选择算法,该算法可以解决多用户MIMO系统中每个用户只有一根接收天线时用户的选择问题。最后介绍了多小区MIMO系统中选择反馈和用户选择方案。第二,针对多小区MIMO系统的小区间干扰,提出了一种新的虚拟信干噪比的度量,根据此度量提出了基于本地CSI的分布式协同波束成形算法,算法不仅考虑使噪声和干扰的和最小,而且考虑了直接链路的信道质量,该算法最大的优势是不需要迭代运行。然后研究了信道状态信息不确定时如何修正波束成形矢量,最后对几种波束成形算法的和速率性能进行了仿真,结果表明这种算法优于数字讨价还价解。第三,在频率复用的多小区多用户无线网络中,为了获得较好的和速率性能,研究了降低同频干扰的协同波束成形设计问题。建立了多小区多用户无线网络波束成形的系统模型,将下行链路波束成形设计为贝叶斯静态博弈,用博弈理论分析,结果表明,性能最优的协同波束成形矢量是自私和利他策略的线性组合。提出了一种最大化和速率的波束成形矢量迭代算法,给出了基于信道状态统计量的组合系数的估计方法。最后,仿真评估了波束成形算法的性能,表明了所提迭代算法的收敛性。第四,介绍了蜂窝网络中将分布式天线和协同波束成形相结合的数据传输方案;给出了考虑回程链路影响的有效和速率和能效函数的定义,给不同协作程度下能量效率的比较提供了统一的性能指标,在此基础上提出了三种不同协作程度对应的能量有效的功率分配方案。仿真结果进一步说明了新定义的必要性。