随着无线通信技术的快速发展，未来移动通信系统将提供比现有系统更高的传输速率、更好的传输质量、更大的系统容量，并且能够满足多种业务的服务质量(QoS)需求。在频谱资源有限，传播信道恶劣的条件下，系统设计要求非常高的频谱利用率和链路可靠性。多输入多输出(MIMO)系统能够提供空间复用增益和空间分集增益，从而满足系统设计的高要求，是近年来的研究热点。　　 预编码技术是MIMO系统中的关键技术之一，发射端利用信道状态信息(CSI)，通过预编码矩阵处理发射信号，以消除减少多天线或多用户造成的共信道干扰(CCI)，保证数据的可靠接收。当发射端已知精确的信道状态信息时，即理想信道条件，预编码的设计重点在于提高系统性能或者逼近系统容量；当发射端只获得部分信道状态信息，即非理想信道条件时，预编码的设计应该考虑带有误差的信道信息，设计具有鲁棒性能的方法。　　 本文首先研究了在理想信道条件下预编码的设计方法。根据算法中是否包含非线性运算，常用的预编码算法包含线性设计和非线性设计两种方法。一般来说，非线性技术比线性技术能获得更好的性能，本文重点研究了非线性预编码的设计方法，具体包括：第一，将格基规约思想应用于预编码中，介绍了格基规约的概念和三种具有多项式复杂度的实现算法，包括LLL算法，深度搜索LLL算法和Seysen算法，然后将这三种算法应用于基于线性处理结构和非线性处理结构的预编码系统中，对它们在这两种系统中的性能进行分析和比较，给出了两种系统下不同格基规约算法的性能曲线，总结出不同格基规约算法各自适用的环境。第二，对基于格基规约算法的矢量预编码进行了研究，分析了基本的格基规约算法出现性能损失的原因，主要在于其实现过程中存在量化误差，通过仿真发现实际量化误差概率分布是有规律的，根据概率分布规律提出了一种可调量化误差校正方法，不仅可以降低系统的误码率，使其接近球形译码算法的性能，而且减小了已有量化误差校正方法的冗余计算量，降低了计算复杂度。第三，在已有的几何均值分解结合矢量预编码的方案上，提出进一步扩大预编码扰动矢量的取值范围，使之分为两种情况，一是扰动矢量中的元素为连续值，则扰动矢量被接收端视为干扰；二是扰动矢量中的元素为连续值和离散值之和，则扰动矢量中的离散值可以通过模操作在接收端消除，而连续值仍视为干扰，在这两种情况下，分别求解得到了最小均方误差(MSE)意义下的最优扰动矢量。　　 在实际传输系统中，发射端取得信道状态信息的方法一般有两种，对于频分双工(FDD)系统，可以由接收端将信道估计结果量化后反馈给发射端，对于时分双工(TDD)系统，可利用上下行链路的互惠性，由接收端发射导频或训练序列，发射端直接据此进行反向信道估计。由此可见，所获得的发射端信道状态信息可能存在误差，比如信道估计误差、信道时变误差，以及信道反馈量化误差等等。因此，本文接着研究了发射端已知非理想信道信息时的鲁棒非线性预编码算法，主要包括两个方面：第一，考虑较为简单的非理想信道模型，即发射端已知信道估计矩阵以及误差矩阵的统计分布特性，利用误差矩阵的方差，通过最小化收发信号之间的均方误差(MSE)，求解了具有鲁棒性的矢量预编码算法。第二，考虑包含收发空间相关矩阵的非理想信道模型，设计了鲁棒的基于THP预编码结构的收发矩阵，首先根据最小MSE准则给出了设计目标函数，通过推导将接收均衡矩阵和发射反馈矩阵转化为预编码矩阵的函数，然后使用算术几何均值不等式和最优化理论，在三种不同信道相关条件下，通过最小化MSE的下界，分别求解了最优的预编码矩阵，从而获得了不同条件下的最优收发机矩阵。　　 最后，总结了全文，展望了未来的研究方向。