协同通信是近年来研究的热点，是未来无线通信重要的发展方向。本文侧重于研究协同通信中面临的干扰问题，相对于传统的利用频率复用或功率控制以被动的方式处理干扰，新型的通信网系统设计是考虑如何主动有效的处理干扰问题。本文主要研究了中继间干扰和临近小区干扰抑制问题，分别提出了一些新的干扰抑制算法，分析了所提算法的性能。首先，中继技术在协同通信中充当着很重要的角色，其不仅能增大传输覆盖，而且能引入分集，以降低收端的误码率，提高通信的可靠性，但是半双工中继使得系统的效率减半。采用两路中继协同系统可以不改变频谱效率，而两路中继协同系统存在中继间干扰问题，如何有效抑制中继间干扰是一个重要的研究课题之一。本文首先详细分析了传统算法，如部分干扰消除、自干扰消除、全干扰消除，但是它们都面临两个不可忽视的问题：一是中继间时间同步，即当一个中继向目的端发送信号时，另一中继也能像目的端一样能收到其完整的信号；二是中继或目的端需获知全部链路信道状态信息。本文提出了一种基于自相关匹配理论的抑制中继间干扰方法，不仅对同步不太敏感，而且降低了目的端负荷，其性能不依赖于目的端是否知道系统所有链路的信道状态信息。干扰对齐作为干扰协调的一种处理干扰方式，从信息论角度看，干扰对齐可以显著提高系统自由度，所以干扰对齐是提高频谱效率的有效方法。干扰对齐的本质是将所有干扰方向全部对齐到某个干扰子空间内，然后利用干扰子空间的零空间传输源信号。本文在归纳总结干扰对齐技术的研究进展基础上，深入讨论了MIMO系统中实现干扰对齐的约束条件，详尽分析了利用本地信道状态信息、系统信道状态信息、机会通信等多种实现干扰对齐的方法，并提出了一种在MIMO蜂窝网中实现上行机会干扰对齐的一般方法，给出了在三小区场景中的理论分析结果，研究结果表明：1、在上行机会干扰对齐时，干扰泄漏值仅与考虑的协作小区数、小区用户数和各用户的天线数有关，与基站天线无关，基站天线仅需满足迫零条件；2、由于干扰对齐考虑的是干扰信号发射功率相对有用信号是强烈的，当干扰信号功率很高时，上行机会干扰对齐方法系统自由度可近似为1，即新方法使用的多用户选择和波束赋形并不能带来额外分集。此外，已有的干扰对齐文献大都只是给出干扰对齐设计方法和系统所能达到的系统自由度，而本文在提出新的上行机会干扰对齐方法的同时，从理论上推导出了所提方法的中断概率和分集复用折衷性能。