移动通信系统已经由最早的低容量的模拟机时代发展到如今的数字时代。用户的快速增长以及各种新型业务的层出不穷对通信网络的传输速率与频谱效率提出了更高的要求。对于整个通信网络而言,传统方法是每个小区基站独立处理其接收到的无线信号,将其他小区信号当作噪声而不进行任何利用。这种处理方法由于受限于小区间的邻信道干扰而无法提高整个网络的频谱效率。近几年来,多小区协作处理概念的提出就是为了提高网络的频谱利用率。多小区协作处理是对一类技术的统称。通过使用多个接入点对每个用户进行协作传输或接收检测,多小区协作处理技术可以有效利用或缓解小区间的干扰。具体而言,干扰的消除或者有效利用是通过协作基站之间共享CSI甚至用户数据来实现的。与多小区协作处理具有同样协作性质的LTE-A中的分布式架构已经被提出并且被3GPP组织接受,但是其基站之间协作的接口能力相对薄弱,而且仅仅针对局部地区内有限个数的基站之间进行协作。由此可见,多小区协作处理对于提高整个通信网络的性能还有较大潜力可以挖掘。目前,国内外在多小区协作处理的研究方向上已经取得了一定的研究成果。对于上行接收而言,主要的研究方向是分布式检测算法。为了降低检测复杂度,这一类算法通常将整个网络建模成一个大的因子图结构,然后在因子图上使用消息传递算法进行检测译码。基于因子图的算法最大的缺点就是复杂度会随着用户的增加呈指数级增长。这些分布式算法主要考虑的是算法复杂度、消息传递开销以及传递消息的量化等。为了在复杂度与性能之间做出较好折中,网络可以分为很多个集群,集群内部进行分布式检测,而集群之间则不进行消息传递。对于下行发送而言,主要的研究方向是多小区波束赋形。以网络容量为目标的多小区波束赋形设计问题己被证明没有多项式时间复杂度的算法可以求解。人们提出了很多次优算法来快速得到较优解。其中一些算法也考虑了在多小区网络中的分布式实现。本文研究了多小区协作处理技术中上行迭代干扰消除与下行波束赋形设计的若干问题。主要包括以下三个方面的创新工作：第一,本文对迭代干扰消除在多小区上行网络中的可达速率域进行了研究。在研究方法上,文中首次使用具有结构性且对AWGN信道的仙农容量可达的嵌套格码作为理论工具对多小区迭代干扰消除的可达速率域进行研究。嵌套格码同时具备了理论优势与实用化潜力。利用格的良好理论性质,本文得到了两小区网络与线性Wyner模型网络的迭代干扰消除可达速率域的下界与上界；另外,进一步将模型扩展到一般多小区网络,得到迭代干扰消除的收敛条件与单用户的最小可达速率。最后得到一个重要结论,在满足收敛条件的前提下,迭代干扰消除的渐近可达速率可以趋近单小区的无干扰条件第二,本文从实用化的角度针对多小区大规模MIMO网络提出了较低复杂度的基于MMSE估计的迭代干扰消除方法。该方法的关键思路是每次直接对小区之间的干扰进行MMSE估计,然后相互交换干扰估计进行干扰消除,从而提高下次干扰估计的准确度。按照这一思路,本文得到了迭代干扰消除的干扰估计与估计误差协方差矩阵的一般表达式。利用估计误差协方差矩阵的一般表达式可以对任意网络中迭代干扰消除的收敛性进行分析。仿真结果显示,使用一般表达式得到的理论上的收敛性行为与实验数据非常吻合。考虑到一些符号估计在迭代过程中能够获得较高的置信度,本文还进一步提出了对部分符号估计进行硬判决之后的干扰消除方法。从仿真结果可以看到,多次迭代可以逐步提高系统的检测性能,而且对部分符号估计进行硬判决还可以进一步缩小与无干扰条件下检测性能之间的差距。第三,本文针对HetNet与多小区大规模MIMO网络提出了协作波束赋形的并行与分布式优化算法的统一框架。文中提出了以用户为中心的部分协作策略,从而在高频谱效率与协作开销之间得到更好的折中。为了体现出系统的真实性能,本文以网络和速率为目标进行优化问题的建模,并且通过证明得到了与之等价的优化问题,而后者相比前者更容易优化。针对以用户为中心的部分协作策略导致的耦合问题,该框架对等价优化问题进行分层解耦,得到了具有分布式形式的上层问题与相互独立的下层子问题。另外,本文利用下层子问题目标函数隐含的部分可分离特性,对子问题提出了并行求解算法。仿真结果显示,该优化算法框架可以得到高质量的波束赋形向量,而且子问题的并行求解可以很大程度减少算法迭代次数。对于多小区大规模MIMO网络,该算法框架还具有明显的低功耗优势。