近年来,多输入多输出(MIMO)中继技术被广泛应用于提高无线网络的系统容量、扩大覆盖范围和提高链路的可靠性。研究表明,对MIMO中继系统进行适当的预编码操作能进一步提高系统的频谱效率。本文主要针对包含直接链路的单用户非再生MIMO中继系统和多用户非再生MIMO中继系统的预编码进行研究,主要研究内容包括以下三个方面：研究了包含直接链路的单用户MIMO中继系统信源与中继预编码设计方案。提出一种次优的基于广义奇异值分解的波束成形预编码结构,使代价函数MSE矩阵完全对角化。运用矩阵对角化方法和优化理论能将矩阵变量的优化问题转化为标量优化问题,从而减少计算复杂度。提出的迭代注水算法能获得信源和中继预编码的闭式解；研究了MMSE设计准则下包含直接链路单用户MIMO中继系统最佳线性预编码矩阵的闭式解结构。我们将原始非凸优化问题分解成为两个较易解决的子问题。首先严格推导了最优中继的收发维纳滤波器结构,然后通过解一个等效对偶问题联合设计出信源传输矩阵和目的接收矩阵,并通过提出的联合迭代算法获得各节点预编码的闭式解；研究了一种分布式方法解决两跳多用户MIMO中继系统的预编码优化问题。从博弈论的角度,当中继固定且多用户干扰视作加性噪声时,我们在非合作博弈策略(SNG)框架内解决了多用户信源传输预编码设计问题,并提出一种同步广义迭代注水算法计算博弈的纳什均衡点(NE)。然后从全局优化的角度,设计出最佳中继预编码矩阵。最后,通过提出的联合迭代SMSE算法获得预编码的闭式解。