随着通信业务的多元化发展,数据业务和多媒体业务已经超越传统的语音业务成为无线通信传输的主要载体,由此引发了亟待传输的庞大网络数据和视频信息,对高速可靠稳定的通信产生了迫切的需求。然而无线通信系统受到信道环境和频谱资源有限的制约,若要提高无线通信系统的有效性和可靠性需要在物理层有革命性的技术。多输入多输出(Multiple Input Multiple Output, MIMO)技术在不增加带宽和发送功率的前提下能大幅度地提高无线通信系统的传输速率,已成为第四代移动通信系统物理层的关键技术。相对于单用户MIMO技术,多用户MIMO技术不仅能同时提供复用增益和分集增益,还能带来多用户增益,即系统的容量与用户的数目成线性关系,但同时引入了一个不可避免的难题,多用户之间干扰的消除。理论上,多用户预编码技术是解决这一难题的最佳技术,但是现有的预编码技术主要存在以下两方面的问题：1)仅考虑了本蜂窝小区内的干扰,但是现有的无线通信系统通常采用同频组网,相邻小区的干扰是不可避免的,将严重影响系统性能；2)严重依赖于发射端所获得的信道状态信息的完整性,但是在实际系统中,发射端几乎不可能获得完整的信道状态信息,在缺少完整信道状态信息的情况下,现有预编码算法性能下降明显。因此,本论文在国家科技重大专项(项目编号：2011ZX03001-007-03)以及产学研项目的共同支持下,从以上两个角度对预编码技术进行了深入的研究分析。主要研究工作及创新性成果包括以下几方面：(1)在多用户MIMO下行多数据流系统中,提出了一种考虑相邻小区干扰的线性预编码算法,该算法是对传统基于信漏噪比准则预编码算法的改进：1)从系统框架、设计原理、系统配置、性能优缺点等方面对已有的考虑相邻小区干扰的预编码算法进行分析,当发送端同时发射多条数据流时,系统性能下降严重；2)针对多数据流的情况,利用相邻小区干扰与噪声之和的协方差矩阵抑制相邻小区干扰,并引入广义奇异值分解求解预编码,平衡各子信道之间的信扰噪比,提高系统总体性能；3)在运用本文所提算法的情况下,理论分析各子信道之间的信扰噪比差距,说明系统误码率性能提升的原因,通过仿真验证,本文所提算法在牺牲较小系统容量的前提下,保证了系统误码率性能的提升,尤其是发送端同时发送多数据流的情况。(2)针对有限反馈系统,提出一种强健的线性预编码算法和一种基于该预编码算法的用户选择方案：1)根据系统的双工模式,分别介绍了发射端获得信道状态信息的方式以及影响其获得的信道状态信息完整性的因素,考虑这些因素影响的严重性及系统使用的广泛性,本文重点研究频分双工系统,即有限反馈系统；2)根据频分双工系统中发射端获得信道状态信息的方式,建立系统的信道模型,引入反馈时延和量化误差,并简要分析信道模型的基本性质；3)利用2)中的信道模型获得不完整的信道状态信息,基于最小均方误差准则,联合发射功率限制的条件,建立强健的线性预编码求解模型,利用拉格朗日乘数法求解得到预编码算法的闭式解,通过仿真对该算法的性能进行了验证：4)基于3)中求得的强健线性预编码算法,计算此时系统的均方误差表达式,利用递减搜索算法和递增搜索算法分别提出两种用户选择方案,进一步提升系统的性能,通过仿真对该用户选择算法的性能进行了验证。(3)针对有限反馈系统,提出一种强健的非线性预编码算法：1)利用(2)中的信道模型获得不完整的信道状态信息,基于最小均方误差准则,联合发射功率受限以及非线性预编码结构限制的条件,建立强健的非线性预编码求解模型,利用拉格朗日乘数法求解得到预编码算法的闭式解；2)观察强健的非线性预编码闭式解的结构特点,引入乔里斯基分解,对非线性预编码求解算法进行化简,降低计算复杂度；3)考虑瞬时信道幅度信息对系统性能的影响,对传统非线性预编码的结构进行修改,在接收端添加信道幅度信息归一化模块,消除发射端缺少瞬时信道幅度信息的影响,进一步提升系统性能；4)计算系统的均方误差表达式,理论分析量化误差以及时延对系统性能的影响,通过MATLAB仿真,对理论分析结论做了进一步的验证。(4)针对有限反馈系统,提出了一种强健的非线性预编码与接收滤波器联合设计方案：1)介绍了在发射端能获得完整的信道状态信息条件下,通过迭代算法对收发端滤波器进行联合设计的传统方案；2)在频分双工系统中,接收端能获得完美的信道状态信息,发送端不能获得完美的信道状态信息,迭代算法不再适用,首先将非线性预编码设为定值,计算接收端基于最小均方误差准则的最优化接收滤波器表达式,将接收滤波器的表达式代入系统均方误差表达式进行化简,联合发射功率受限以及非线性预编码结构限制的条件建立问题求解模型,利用拉格朗日乘数法和几何均值分解对该模型进行求解,通过仿真对其性能进行验证。