为了适应无线网络中迅猛增长的用户数量以及用户对数据速率的指数增长需求,下一代无线通信系统中采用全频率复用实现网络覆盖范围的扩大和系统性能的提升。然而,使用相同的频段会导致小区间严重的干扰,特别是位于小区边缘的用户,服务质量大幅下降。因此,小区间干扰抑制是无线网络中一个急需解决的关键问题。多小区协作是目前最受关注的技术之一,该技术通过不同小区的基站共享信道与数据信息,联合设计传输方案,有效抑制网络中的干扰。本文围绕多小区协作干扰抑制技术中的一些重点问题展开研究,考虑实际系统的各项限制因素,从物理传输以及网络管理的角度设计信号收发算法以及资源分配方案。首先,本文研究多小区多用户多输入单输出系统加权速率和最大化问题,设计全局最优的预编码算法。将该问题构造为可达速率域上的单调优化问题,并提出一种单调优化算法迭代逼近全局最优解。该算法采用一系列不重叠的超矩形刻画全局最优解所在区域,通过对这些超矩形进行分解、缩小、剔除等操作,不断缩小全局最优解所在范围。每一次迭代过程包含智能搜索、顺序分割、顶点重置等步骤。与现有的基于可达速率域的算法相比,所提算法能够明显降低计算复杂度,加快收敛速度。其次,本文研究信道信息存在统计误差的多输入多输出(MIMO)干扰信道收发算法设计。在满足自由度约束下,每对用户可以传输多个数据流。从误比特率的角度出发,选择最差数据流均方误差(MSE)为优化目标。给出包含估计误差和延时误差的统计误差模型,并推导MSE的平均值,构造最差数据流平均MSE优化问题。采用逐次优化的方法迭代更新收发矩阵。固定预编码矩阵,推导了接收矩阵的闭式解。对于优化预编码矩阵的问题,提出基于二阶锥规划的集中式算法和基于拉格朗日对偶的分布式算法。分析了两种算法的收敛性能和计算复杂度,证明了集中式收发算法可以收敛到问题的Karush-Kuhn-Tucker点,而分布式收发算法则明显降低了计算复杂度。此外,还讨论了分布式算法在时分双工和频分双工系统中的具体实现过程和所需的信息交互量。仿真结果验证了所提算法克服统计误差的有效性以及相对现有算法在误比特率性能上的优势。同时,仿真还显示了分布式算法在不损失误比特率性能的同时可以大幅减少计算时间。接下来,本文考虑另一种误差有界模型下的MIMO干扰信道收发算法设计。考虑信道误差是在一定范围内随机分布的,即误差有界。引入辅助变量表示误差影响下数据流MSE的最差情况,构造最差情况数据流MSE优化问题。由于误差在分布范围内有无穷多种实现,优化问题具有无穷多个约束,对此提出两种处理方法。一种采用S-procedure推导等价问题,另一种利用不等式性质和范数定义推导近似问题。对这两个问题分别采用逐次优化算法,仿真显示求解近似问题的复杂度较低,更适合天线较多的场景。同样,所提算法有效克服了有界误差的影响,相比基于均方误差总和以及最差用户均方误差的算法能够获得更低的误比特率。最后,考虑实际无线蜂窝通信网络中进行数据共享的回程链路是容量有限的,本文研究多小区异构网络协作传输方案设计,包括基站分簇和预编码算法。基站和中央单元由回程链路连接成树形网络,中央单元作为根节点,基站构成树的各层节点。根据树形网络每个基站只有一条流入链路的特征,将回程链路传输和无线链路传输的关系构造为0-1变量线性不等式。以最差用户速率为目标构造基站分簇和预编码的联合优化问题。针对该非凸混合整数优化,提出两种基于线性规划松弛的低复杂度次优算法。第一种算法对目标值采用二分搜索,提出包含功率分配、基站分簇、可行判断的三步算法求解可行问题。第二种算法同样设计为三步:无回程链路约束的最差速率优化、基站分簇、给定基站分簇的最差速率优化。通过定义无线链路重要性因子,基站分簇被构造为最大化网络重要性的整数线性规划问题。对该问题采用线性规划松弛求解并讨论最优性条件。仿真验证所提算法能够获得近似最优的性能,并严格保证回程链路容量约束。