多媒体业务和移动互联网技术的飞速发展要求无线通信系统具有更高的传输速率,然而由于无线频谱资源有限,因此下一代无线通信系统解决的关键问题之一就是如何提高频谱利用率。多输入多输出(Multiple Input Multiple Output, MIMO)技术因其具有额外的空间自由度,在不增加带宽和发射功率的前提下大幅度地提高了无线通信系统的传输效率,已被列为下一代无线通信系统的必选技术。在采用MIMO技术的通信系统中,预编码技术是实现其高性能的关键技术之一。本论文在华为基金(MIMO-OFDM系统中预编码技术研究)的支持下,深入研究了MIMO系统中的线性预编码及相关技术,对MIMO广播(Broadcast Channel, BC)系统和MIMO协作系统中的线性预编码及多用户选择技术进行了积极探讨,以期能够提高整个系统的性能。本文主要工作及创新成果如下：(1)在MIMO BC系统的线性预编码研究中,由于部分干扰消除预编码可以比完全干扰消除预编码达到更高的系统容量,本文考虑系统容量和复杂度的折中,提出了一种低复杂度的部分干扰消除预编码方法,适用于接收端配置单天线的MIMO BC系统中,该方法首先在两用户系统中基于向量模型求解优化的预编码向量,给出功率分配方案,然后将多用户系统通过简单编码处理转化为多个两用户(或单用户)系统进行求解,所提方法性能接近最小均方误差预编码(Minimum Mean Square Error,MMSE),而复杂度比MMSE预编码方法更低。(2)为了在多用户选择算法中避免基站获得所有用户信道状态信息(Channel State Information, CSI)造成上行信道反馈开销过大,提出了MIMO BC系统中基于块对角化(Block Diagonalization, BD)预编码的多用户选择新算法。该算法在选择多用户时,每个用户接收基站广播的矩阵信息,按照给出的矩阵表达式计算其行列式作为自己的信道状态标识并反馈给发射基站,基站据此挑选性能最好的用户要求其反馈CSI,由此减少了反馈用户数。故该算法只需被选择的用户反馈CSI,减少了反馈大量信道状态信息的开销,适合实际场景中上行带宽受限的情况,并且算法复杂度低,所达到的系统容量保持较优。(3)由于MIMO BC系统中BD预编码利用信道状态信息并非仅仅消除用户间干扰,本文从接收用户容量上界最大化出发,提出了基于有限反馈的MIMO BC系统中使用BD预编码的有效量化反馈方法,该方法在量化反馈中不仅考虑了用于消除用户间干扰的信道方向信息还考虑了各个子信道的增益,所提方法相比只反馈信道方向信息的方法在不增加任何计算复杂度的基础上有效提高了系统容量。(4)基于随机矢量量化码本反馈的MIMO BC系统中,针对已有的用户信号噪声干扰比(SINR)估计存在较大误差而制约整个系统性能的问题,本文提出了有限反馈下采用迫零波束成型(Zero Forcing Beamforming, ZFBF)预编码的多用户选择新算法。该方法利用所推导的上下界,联合估计用户接收到的有用信号功率,得到了一种误差较小的SINR估计式,并基于该式给出了新的多用户选择算法。该算法无论是在低信噪下比还是在高信噪比下都能选择出有效的调度用户提升系统性能,且复杂度较低。(5)针对MIMO协作系统中信道估计存在误差的预编码问题,提出了一种联合预解码设计方法。该方法以系统误码率最小化为目标,考虑信道估计误差影响,利用最小均方误差准则联合设计了源节点和中继节点预编码矩阵。仿真结果表明,所提方法有效降低了信道估计误差对系统性能的不利影响,性能优于传统方法。