伴随着移动通信的不断发展，现有的无线移动通信技术已经进入4G时代并向5G时代迈进，其中，MIMO技术是高速移动通信的关键技术之一。在4G技术中，为了更进一步提高无线通信系统的用户密度和吞吐量，LTE-Advanced系统中采用多用户MIMO增强技术作为关键技术，但是在多用户MIMO系统广播信道中，发射端将多个用户的数据以空分多址(SDMA)的形式在同一个时频资源块上进行空分复用，因此，系统在获得更大和速率的同时，也引入了多用户共道干扰(CCI)。如何设计在MU-MIMO系统中的有效干扰消除方案是重中之重。多用户MIMO预编码技术可以利用信道状态信息在基站端对发射信号进行预处理，能够有效的消除共信道干扰，提高系统性能，已成为现有的研究热点。为此主要针对广播信道中的多层数据流多用户MIMO场景的线性预编码技术进行了研究，本文分析了经典的SLNR预编码算法，虽然该算法在抑制用户间干扰方面具有一定的优势，但是在一定的发射功率下，系统的性能并未得到很大的提升，针对此问题，本文设计了一种基于子数据流选择的SLNR预编码方案，该方案首先对子数据流选择的可行性进行分析，然后对子数据流选择的有效性进行分析，理论上验证了该方案的优越性。此外，主要分析了经典的ZF算法、MMSE算法和改进的MZF算法，此类算法虽然复杂度较低，但是算法使用范围较小，针对此类问题，本文设计了一种联合预编码方案，该算法建立了MZF算法和SLNR算法的联合系统，一方面该算法继承了SLNR算法针对收发天线数无限制的优势，扩大了算法的使用范围，另一方面该算法继承了MZF算法简单、复杂度低的优势，使其易于实际实现。但是，由于该算法还存在残存干扰，又引入了一个预滤波参数θ，使其可以最大程度的消除系统中的用户间和用户天线间的全部干扰。论文以“LTE RRM系统级仿真平台的实现”项目为依托，在VS2008软件平台下搭建了系统级仿真测试平台，通过VC++和MATLAB的混合编程来测试上述算法的性能，仿真结果表明，本文设计的基于子数据流选择的SLNR预编码方案，在系统容量损失不多的情况下，合理选择数据流进行传输提高了误码率，实现了容量和误码率的折中，同时提高了功率利用率；此外，将联合预编码方案和经典的预编码算法进行对比分析，该算法提高了系统容量，降低了误码率，实现了复杂度和算法使用范围的折中，充分体现了改进算法的优越性。