在第四代移动通信方案中，OFDM和MIMO都被视为其中的核心技术之一。OFDM利用正交多载波的特点，较好地克服无线信道中的频率选择性衰落；而MIMO系统中，由于不同空间位置的多副天线可以并行通信，从而获得了空间分集增益，增加了信道容量和提高了信道链路质量。然而，要把OFDM技术和MIMO多天线技术高效地结合尚需要解决一些问题，其中在信号处理方面要解决问题包括：发端信号如何合理预处理、收端信号如何检测、收发信号的组织方式、OFDM子载波分配、中继转发系统信号处理等问题，这些都是预编码技术研究内容，因此说基于MIMO-OFDM系统的预编码也是新一代无线通信中的非常重要技术。论文以MIMO-OFDM系统信号处理为基础，按照空间分集、空间复用、协作中继技术、多用户技术、单向下行链路及双向传输等不同需求，分别考虑与不同场景，研究不同系统中预编码设计，在这些方面作了一些有益的尝试，主要工作涉及以下方面：第一，针对空间分集MIMO-OFDM下行系统，设计了一种波束形成向量和功率分配系数的双量化空间分集预编码方案。首先，按照系统最小总误码率的准则，对波束形成向量和功率分配系数进行全局联合优化，得到优化的闭合解；然后通过利用波束形成码本和一种均匀分布的功率量化码本，对预编码闭合解分别进行量化；最后，通过利用OFDM相邻子载波的相关性，设计了一种分组预编码量化反馈及插值恢复的算法，从而进一步降低了反馈比特。仿真实验结果表明，在频率选择性信道的情况下，算法在反馈比特量、误码率等方面比现有算法具有更好的综合性能。第二，针对空间复用MIMO-OFDM下行系统，优化了一种有限比特反馈的空间复用预编码方案。首先，算法通过引入最小均方误差的目标函数，优化设计了发端的预编码矩阵和收端的解码矩阵，并且改进了功率分配关系式；然后，通过设计一种实用的功率量化码本，实现了空间复用情况下的量化功率分配；利用拉格朗日乘数法改善了子载波功率分配；最后，通过采用一种适用于空间复用预编码的插值恢复方法，实现了相关信道下的预编码量化反馈和预编码恢复。仿真实验结果表明，在OFDM子载波相关的情况下，算法在反馈量和误码特性方面比现有算法具有更好的综合性能。第三，针对多天线单用户OFDM下行中继系统，优化了一种包含单个源节点、单个中继节点和单个目的节点的系统的有限反馈线性预编码方案。算法通过信道矩阵的特征值分解和QR分解，设计了一种包含源节点-中继节点-目的节点通道(S-R-D)和源节点-目的节点直接通道(S-D)的线性预编码算法；该方案源节点预编码矩阵与OFDM子载波的序号无关，每OFDM帧只需反馈一个源节点预编码矩阵，从而减少了反馈比特量；通过对噪声进行白化处理，设计了目的节点预编码矩阵；按照子信道互信息量最大化准则，设计了中继预编码；最后，利用拉格朗日乘子法，按照系统的输出可达速率最大化准则，提出了OFDM子载波功率分配优化方案。仿真实验表明，该方案的和速率（sum-rate）较高、误码率较低，且反馈比特较少，具有实际应用价值。第四，针对由单源节点、单中继节点和多个用户节点组成的OFDM下行中继系统，在利用了S-D直接通道的基础上，分别设计了一种多天线的线性预编码和一种凸优化预编码。在线性方案中，按照信漏比最大化准则，设计了源节点的预编码矩阵；通过MMSE准则设计了接收预编码矩阵；通过把中继过程分解成S-R阶段接收解码和R-D阶段发射预编码的方法设计了中继节点预编码，该算法具有复杂度较低的特点。在凸优化方案中，通过利用维纳滤波器设计了接收解码矩阵；然后基于加权总速率(Weighted Sum-Rate)设计目标函数，采用凸优化方法求解源节点预编码；在此基础上，采用对偶(Daulity)性原则推导了中继节点预编码。最后按照OFDM系统总的容量最大化准则，设计了OFDM子载波优化分配和功率分配方案。仿真实验结果和分析表明，文中算法在误码率、总容量及运算复杂度等方面比现有算法有更好的性能。第五，针对多点对多点的下行MIMO-OFDM中继系统，优化了两种多天线多用户OFDM预编码。对第一种算法，按照系统速率之和最大化准则，引入权矩阵，对加权MSE进行最小化设计，构造只含有单个变量的目标函数，再经过变换后转化为一个典型的半正定松弛(SDR)优化问题来解决，从而得到全局优化的预编码。对于文中的第二种算法，设计了一种仅仅在中继节点进行预编码的简易实用方案，通过信道的SVD分解，找到其零空间的向量基，以此设计中继节点预编码矩阵，从而达到共信道信号干扰自动消除。最后，按照OFDM容量最大化准则设计目标函数，在源节点和中继节点功率分别受限条件下，利用凸函数的KKT条件，优化了子载波功率分配。第六，针对双向MIMO-OFDM中继系统，设计了两种双向传输模式下的预编码算法。首先，设计了一种基于MSE总和最小化准则的预编码：通过把MSE之和分解成MA和BC两个阶段，在MA阶段用梯度下降法设计了源节点预编码矩阵；在BC阶段通过构造对偶项的方法，简便地得到了中继节点预编码矩阵，在此基础上通过迭代方法来逼近全局唯一极点。然后，设计了一种用户均衡算法，算法基于最差用户的MSE最小化准则，通过利用Schur补的理论，使得目标函数转化为正半定PSD问题，利用现有的凸优化程序包来解决预编码优化问题。最后，通过利用Lagrange对偶函数的优化方法，对OFDM子载波资源进行优化分配。分析和仿真实验表明，本算法在复杂度、误码特性和信道容量等方面比现有算法具有更好的综合性能。