移动互联网和物联网应用需求的持续增长,对无线通信技术提出了更高的传输质量的要求。MIMO技术利用多个发射和接收天线,可以在不增加系统带宽的前提下显著提高无线通信系统的容量和传输可靠性,是移动通信系统的关键技术之一,而MIMO系统中的预编码技术以其提升系统传输性能、降低接收机复杂度的优点一直具有很高的研究价值。然而当传输信道为频率选择性衰落信道时,需要一种预编码方案能够同时解决多用户干扰以及多径衰落这两个问题,并且不能牺牲过多计算复杂度。针对以上问题,本文主要对频率选择性衰落信道下的预编码技术进行了研究,主要的研究内容和工作成果如下:1.研究了频率选择性衰落信道下的MIMO系统模型。分析了多径干扰、用户间干扰和数据流间干扰的产生原因,并提出了一种新型的频率选择性衰落信道下的多用户MIMO预编码设计方案,将可分的多个传播路径等效假设为不同的“用户”,进而在构造信道干扰矩阵时,将用户其他路径的信道信息包含在内,在此基础上设计的预编码能够有效消除多径效应造成的符号间干扰,改善系统性能。2.研究了频率选择性衰落信道下的多用户MIMO系统中的预编码算法。系统采用块对角化(BD)预编码算法消除多用户干扰、子信道数据流间干扰以及多径效应造成的符号间干扰。针对传统BD预编码复杂度较高的问题,本文利用GZI算法和LDL~H分解对BD预编码算法进行了改进,仿真结果表明:该算法能够有效提高系统误码性能和频谱效率,同时能够降低计算复杂度。3.将正则块对角化(RBD)预编码算法引入频率选择性衰落信道下的MIMO系统中。RBD预编码算法在消除多用户干扰同时,考虑了噪声对系统性能的影响,因此在信噪比较低时具有更好的系统性能。但传统RBD预编码的计算复杂度高于BD预编码算法,针对这一问题,本文在RBD预编码优化准则的基础上,提出了一种基于Cholesky分解的RBD预编码算法,能够进一步简化传统RBD预编码的求解步骤。仿真结果表明:该算法能够在不损失RBD预编码性能的前提下,较大程度降低算法的计算复杂度。