随着多媒体业务和宽带因特网业务迅速发展,无线用户数量快速增长,人们对无线数据业务的要求越来越高。然而由于频谱资源的有限性,无线通信系统面临越来越严重的干扰。为了提高无线通信系统的有效性和可靠性,多小区、多用户MIMO是无线通信研究的重点课题之一。本文对多输入多输出(Multiple Input Multiple Output, MIMO)系统中的干扰处理技术进行了深入的研究,针对各场景设计了相应的干扰处理方案,有效地提高了无线通信系统的容量,降低了误码率。本文的主要工作及创新成果如下：(1)为了提高多小区MIMO下行信道和多用户MIMO干扰信道中无线通信的有效性和可靠性,本文对空时分集的干扰对齐技术进行了研究,分别提出了多小区中空时分集的干扰对齐方案和MIMO干扰信道中空时分集的干扰对齐方案,所提两个方案结合具体的场景,在不同时隙分别采用不同的干扰对齐方法,将每个用户的等效信道转变为等效时变信道,由此将空间分集转换为等效信道的时间分集,并结合空时处理技术,获得了分集增益。理论分析和仿真验证,所提方案与原有方案相比,在获得相同自由度的同时获得了更高的分集增益,有效地降低了系统的误码率,提高了系统的可靠性。(2)针对MIMO异构网络中的分层干扰对齐方案在低信噪比条件下容量较小的问题,本文提出了一种加权最小均方误差的规则化干扰对齐方案,所提方案利用分层干扰对齐方案的信道增益作为加权矩阵,通过迭代优化预处理和后处理矩阵,实现了干扰的消除和功率的分配。理论分析和仿真表明,所提方案能通过少量迭代迅速收敛,提高了整个信噪比范围内系统的容量。(3)为了进一步提高多小区MIMO下行传输的有效性和可靠性,本文针对非线性的干扰对齐方案进行了研究,提出了一种多小区多用户THP(Tomlinson-Harashima Precoding)的干扰对齐方案,并给出了所提方案的设计准则,所提方案利用THP构造多小区传输模型,通过设计合适的反馈三角矩阵、前馈矩阵和后处理矩阵,实现了干扰对齐,从而有效地提升了各小区的容量,降低了误码率。理论分析及仿真验证,与已有干扰对齐方案相比,所提方案可以获得更大的容量和更低的误码率。(4)干扰对齐技术可以有效提高MIMO X中继系统传输的自由度,然而为了实现完全的干扰对齐,用户需要配置较多的天线。为了提高MIMO X中继系统中在用户天线数较小情况下的容量,本文针对MIMO X中继系统提出了一种部分干扰对齐传输方案,推导出了MIMO X中继部分干扰对齐的可行性条件,并给出了一种迭代的实现算法,所提算法能灵活适应各种用户和中继天线配置,可以有效地提高系统传输的自由度。仿真结果验证了所提方案的有效性。(5)为了提高MIMO多向中继系统的容量,本文研究了MIMO多向中继的并行传输,提出了一种多向中继非对称传输方案,所提方案通过建立一个新的多向中继传输模型,采用多天线并行非对称发送和接收多流数据,设计相应的预处理矩阵及迫零检测矩阵消除干扰,在不增加中继天线数的前提下,实现了多向中继的并行非对称传输。本文推导出了所提方案的系统容量,理论分析和仿真结果表明,所提方案能有效地降低了中继的能耗,提高了传输效率,在多组传输时进一步降低了对中继天线数的要求。