作为无线通信中的技术基础,多输入多输出(Multiple-Input and Multiple-Output,MIMO)技术是在源端利用多天线的空间分集特点来提供增强信道容量的显著性能,同时还会提高系统在传输数据方面的可靠性。而中继技术运用到MIMO系统后,不仅可以解决信息覆盖范围差的现象,同时也能增强小区边缘用户接收信号的质量。另外,引入预编码技术的MIMO中继系统可以抑制或者消除传输信道中存在的信号干扰,从而达到降低系统误码率,提升无线通信系统的性能的目的。本论文在内容上以双向中继为为研究基础,对多用户MIMO中继的两个不同模型提出了联合预编码的优化方案,使系统的有关性能可以得到提高。首先,在中继双向传输工作方式场景下,对发射端、接收端均为多用户的MIMO中继系统提出一种联合预编码优化算法。基于对所有通信节点的功率条件约束,以最小和均方误差(Minimun Sum Mean-Square-Error,MSMSE)为优化准则去建立联合发射端用户、中继和接收端用户的目标优化方程,由于封闭形式的解决方案难以直接计算最优解,因此将最初的非凸优化问题转化成子凸优化问题,并利用半正定规划(SDP)设计和二阶锥规划(SOCP)设计求子问题。之后通过交替迭代的方法进一步求解出每个子凸优化问题的局部优化值,达到优化所有节点矩阵变量的目的。最后仿真用CVX优化工具箱求解等效子凸优化问题的最优值。仿真部分主要从和均方误差(Sum Mean-Square-Error,SMSE)、和速率方面来表明提出算法对系统性能有提升。然后,在中继双向传输工作方式场景下,将发射端用户和接收端用户之间存在的直传链路考虑在内,针对多用户MIMO中继场景下导致系统性能损失的问题,提出了一种联合优化算法,其中以MSMSE为优化的设计准则。建立目标方程后,然后将非凸的目标优化方程转化为子凸优化问题,采用QR分解和平方约束二次规划(QCQP)问题来解决子问题的优化值。仿真部分主要从SMSE、误码率(Bit-Error Rate,BER)方面来表明提出算法对系统性能有提升。