在4G和4G Beyond移动通信系统中，随着用户终端数量的不断扩大以及新型多媒体应用的产生，对于数据传输速率的需求呈现指数级增长的趋势。频谱资源的有限使得频谱复用更为频繁，伴随而来的小区间干扰问题日趋严峻。尽管采用OFDMA技术可以有效消除小区内干扰，但是对于小区间干扰的抑制至今还没有一个成熟的解决方案。本文针对4G无线蜂窝系统的特点，分别从不同角度提出了两种解决方案：从系统架构角度出发，引进中继节点以扩大小区覆盖面积，提升小区边缘用户的信道质量；从信号处理角度出发，通过多小区协作共同设计波束成形矢量以降低相邻小区间的干扰。对于中继的研究，本文主要着眼于两跳固定增益的AF MIMO中继系统在同信道干扰下的性能分析。根据中继节点处是否存在干扰考虑了两种场景：1）中继处只有加性高斯白噪声；2）中继处存在多个同信道干扰。基站和用户都为多天线而中继为单天线，由于小区边缘用户受到的小区间干扰最为厉害，因此这里针对该类用户进行分析，即用户处也存在多个同信道干扰。对于上述两种场景，在推导得到闭式中断概率表达式的基础上，前者利用广义矩得到了系统遍历容量的精确估计；而后者为了量化多天线和同信道干扰对于系统性能的影响，通过渐近分析得到了该系统的分集阶数表达式。实验仿真表明，本文推导得到的解析表达式与Monte Carlo仿真结果十分吻合。对于多小区协作的波束成形设计，本文则主要侧重于如何将其更好的应用于实际系统中。其中主要存在两个难点：信道状态信息的非理想和基站之间的分布式实现。基于Primal Decomposition，本文提出了一种鲁棒的下行分布式波束成形算法以解决基站总发射功率最小化问题。该算法实现简单并且基站之间仅需交换有限回程信息。仿真中使用了标准的蜂窝网络参数以模拟实际系统实现。结果表明，所提出的分布式算法以较快的收敛速度得到了与中心式算法相近的性能。