目前,随着越来越多的互联网和多媒体应用融入无线网络,用户对于高速宽带无线通信业务的需求不断增长,这就要求下一代移动通信系统能够在实现数据可靠性的同时满足高速率传输的要求。但是多径传播导致的信道衰落严重制约了无线通信系统的性能,因此,如何克服无线通信的衰落,提高系统的频谱利用率已经成为无线技术发展中迫切需要解决的问题。多输入多输出(MIMO)技术作为解决上述问题的一项最有希望的技术,已经在3GPP LTE等第三代移动通信增强(E3G)系统中采用,并在第四代(4G)移动通信系统的研究中受到广泛关注。本论文首先简要描述了MIMO系统模型,介绍了开环及闭环的MIMO技术,并分析了单用户／多用户信道容量。随后针对MIMO技术中的一些关键技术进行研究,如多用户MIMO预编码技术、信道信息反馈技术、小区间干扰抑制技术以及TDD MIMO系统中的信道互易性技术等。本论文的主要工作如下：针对基于码书的MU-MIMO预编码技术,提出一种自适应的传输方式选择方法。该方法中,用户端基于最大容量准则,通过对码书的遍历找出合适的传输用户数和用户子集,并反馈到基站端；而基站端通过对用户反馈信息的分析,并进行调度选择,从而得到最优的传输用户数和用户子集。该方法解决了传统基于码书的MU-MIMO方案中在高信噪比和低用户数时的性能瓶颈问题,能够根据系统的具体情况,合理选择用户,提升系统容量。针对MIMO预编码系统的CSI反馈技术,介绍了目前常用的几种反馈方式,并分析了频域子带量化反馈中的常用方案,然后基于HARQ技术,提出了一种自适应选择反馈周期的CSI反馈技术。该技术合理利用HARQ的反馈信息ACK/NACK,对多个用户的当前信道状态以及多个用户之间的配对情况进行分析,确定是否需要重新进行调度,合理安排调度时机,调整反馈周期,从而有效地减少了CSI反馈开销,获得较高的容量和频谱利用率。针对小区间的干扰抑制方面,提出了一种多小区开环闭环联合传输的干扰抑制技术。该技术中,在小区边缘的用户与一基站采用闭环方式,而与另一基站采用开环方式,通过对开环和闭环信号的联合处理,获得了分集增益,在不增加复杂度、反馈开销较小的同时,有效地抑制了小区间的干扰,提升了小区边缘用户的性能,获得了很高的容量。针对TDD-MIMO系统中的信道互易性方面,提出了一种利用信道互易性的方法。该方法主要基于TDD-LTE系统,首先针对TDD-LTE的帧结构、系统参数以及导频结构进行分析,确定TDD LTE系统中影响获取信道互易性的各种因素,提出了具体的判断信道互易性存在的有效准则；然后在此准则基础上,对信道互易性存在时的上下行信道干扰结构的不对称性进行分析和推导,并加以补偿。该方法得出了利用信道互易性的有效方法,使利用信道互易性变成可能,减少了信道状态信息的反馈量。