随着智能手机、平板电脑等移动设备的普及,移动数据业务快速增长。为了实现高速移动用户和低速移动用户的峰值速率可分别达到1Gb/s和100Mb/s的目标,在第三代合作伙伴计划长期演进增强技术的标准化进程中,提出了载波聚合、下行多入多出、异构网络等一系列技术。基于正交频分复用的蜂窝系统可通过子载波的正交性有效地消除小区内的多用户干扰,但在全局频率复用时,小区间干扰限制了边缘用户的传输速率。在典型的宏蜂窝场景中,边缘吞吐量只能达到峰值速率的很小部分。小区间干扰协调技术通过在多小区间协调使用频域、时域或功率资源,可有效规避或降低小区间干扰。这种技术实现简单、使用灵活、效果也较为理想。小区间协作预编码技术通过协调空域资源,根据调度信息和用户信道状态信息半静态或动态调整预编码矩阵,可以更有效地改善边缘用户的性能。本文首先研究了同构蜂窝网络的多小区协作预编码。具体的,针对小区内多入单出(Multiple-Input Single-Output, MISO)和多入多出(Multiple-Input Multiple-Output, MIMO)两种传输场景展开研究。接着,研究了异构蜂窝系统中闭合用户组(Closed Subscriber Group, CSG)家庭基站与宏基站共存时的干扰协调问题。本文的主要贡献如下：1.针对多小区MISO系统的协作预编码,提出了一种干扰可控最小均方误差(Leakage-controlled minimum mean square error, LC-MMSE)预编码方案,在为本小区用户传输数据时,也可降低对邻小区的干扰泄漏。分析了LC-MMSE预编码的信干噪比,并从最大化信干噪比的角度,推导了最优的正则因子。提出一种联合频域和空域的干扰协调方案,在主子频带上,采用MMSE预编码为本小区用户传输数据。在辅子频带上,采用LC-MMSE预编码对邻小区边缘用户进行干扰协调。与基于信漏噪比的预编码方案相比,提出的空域干扰协调方案具有用户反馈量适中,计算复杂度低的优点,因此,更具有实用性。仿真结果显示在发射端信道状态信息完全和不完全的情况下,提出的空域协调方案对比单小区多用户传输方案都能明显改善小区间干扰,并且不引入小区总吞吐量的损失。2.针对多小区MIMO系统的协作预编码,利用多链路MIMO高斯干扰信道模型对系统进行建模,通过在发送协方差矩阵引入干扰消零约束,抑制对其他链路的干扰泄漏。在假设给定协作关系时,利用策略博弈对多小区发送协方差矩阵的设计进行建模,求解纳什均衡,并分析纳什均衡唯一性和存在性的条件。针对协作关系的优化,分别利用联盟形成博弈、联盟图形成博弈和网络形成博弈理论对问题进行建模,并提出相应的算法求解链路间的协作关系。提出的联盟生成算法是纳什稳定的,而提出的网络生成算法可以收敛到一个纳什均衡。仿真结果表明提出的联盟生成算法在发射端配置天线数足够多的条件下可以提升系统的平均吞吐量；而提出的网络生成算法即使在低信噪比或发送天线数有限的条件下也能有效地提高系统的平均吞吐量。3.针对CSG家庭基站与宏基站共存时的干扰协调问题。首先利用随机模型建模宏基站／家庭基站的位置和数量,推导宏用户和家庭用户的覆盖率(不中断的概率)的表达式。基于得到的用户覆盖率,以家庭基站的中断吞吐量为优化目标,宏用户覆盖率为约束,求解出家庭基站最优的活跃时间比和发射功率。假设家庭基站不必无条件协助宏用户,而将根据运营商的补偿自主调整干扰程度。利用价格博弈对家庭基站拥有者和运营商的干扰协调进行建模。分析得到纳什均衡下运营商对家庭基站补偿金额,以及家庭基站发射功率和活跃时间比的配置。仿真结果表明时域静音方案较功率控制方案可以更好地改善室内宏用户的中断现象。