多输入多输出(MIMO)技术利用收发端配置的多根天线,可以在不额外增加带宽和功率的情况下以更高的频谱利用率实现更稳定可靠的信息传输。它也因此被认为是能够满足日益增长的高速率、高质量无线通信需求的关键技术之一。另一方面,中继技术通过节点之间的协作完成信息传输,能够有效地提升系统吞吐量、节省发射功率和扩大覆盖范围,已成为LTE-Advanced、IEEE802.16m等诸多无线标准中具有较好发展前景的技术。显然,MIMO和中继的结合将是未来无线通信系统的重要组成部分,而利用已知的信道状态信息进行MIMO中继的收发机设计可以充分发挥两种技术的特点,进一步提高传输的有效性和可靠性。因此,本文以未来无线通信系统中的(点对多点)多用户MIMO中继模型为对象,针对不同信道状态信息条件下的收发机设计展开深入研究,以挖掘MIMO中继能够带来的性能增益。主要工作和贡献如下：1)在理想信道状态信息条件下,研究基于不同优化准则的收发机设计。以总均方误差最小化为准则,通过改进收发机结构,推导出Lagrange乘子和收发机信号处理矩阵的解析形式,并提出交替迭代算法进行收发机设计。它克服了传统收发机结构下Lagrange乘子只能使用数值搜索计算,且解可能不唯一的缺点。与现有设计方案相比,新方案能够以较低的计算复杂度得到相近的系统性能,更具实用性。以加权和速率最大化为准则,构造等价的加权总均方误差最小化问题,并将其表示成关于不同矩阵变量的凸子问题,提出交替迭代算法得到收发机的局部最优解。研究结果表明,新方案的和速率性能要优于现有设计方案。此外,假设节点以最大功率发射信号,通过分析加权和速率与加权总均方误差的微分,建立了二者梯度算子间的转换关系。推导出上述优化准则下各矩阵变量的梯度算子,并使用梯度下降算法进行收发机设计。2)在统计信道状态信息条件下,研究以总均方误差最小化为准则的鲁棒收发机设计,提出了适合于不同应用场景的设计方案。第一种方案将优化问题表示成关于不同矩阵变量的子问题并证明其凸性,通过交替迭代求解得到收发机的局部最优解。第二种方案通过证明总均方误差的分解特性,将优化问题近似表示成两个传输阶段的收发机设计子问题。利用盖(Majorization)理论对子问题的目标函数进行松弛处理,进一步得到标量形式的功率分配问题,并使用注水算法推导出闭式解。此外,分析比较了两种设计方案的信令开销和计算复杂度。研究结果表明,第一种方案的系统性能优于第二种方案,但在开销和复杂度上也要付出较大的代价。由此可知,第一种方案适用于信道变化较慢的场景,而第二种方案则可以用于信道变化较快的场景。3)在统计信道状态信息条件下,研究上下行链路的对偶问题,将多用户MIMO中继的对偶结论从理想信道状态信息推广到非理想信道状态信息。不同于现有工作中使用的方法,利用优化问题的KKT条件证明总均方误差的对偶性,进一步简化了分析过程。同时,在节点发射功率独立受限和系统总发射功率受限两种情况下,推导出对偶链路收发机间的转换关系。为了验证结论的正确性,提出了一种基于总均方误差最小化准则的上行链路鲁棒收发机设计方案。4)在有界信道误差条件下,研究以总均方误差和总发射功率最小化为准则的Worst-case鲁棒收发机设计,提出了不同方案处理信道误差以简化问题的求解。第一种方案利用扩展的Sign-definiteness将优化问题表示成关于不同矩阵变量的半正定规划子问题,并提出交替迭代算法得到收发机的局部最优解。第二种方案基于割平面法将优化问题表示成信道集合给定条件下的收发机设计子问题和收发机给定条件下的Worst-case信道计算子问题,通过子问题间的交替迭代求解来进行鲁棒收发机设计。此外,分析比较了不同方案的计算复杂度,并讨论了其扩展应用。研究结果表明,两种方案均能够减小信道误差造成的性能损失,且第二种方案在计算复杂度上能够得到较为明显的改善。研究发现,在不同优化准则和信道状态信息条件下,论文提出的收发机设计方案能够显著提升多用户MIMO中继系统的性能,实现高速可靠的信息传输目标。相关研究成果不仅适用于无线蜂窝网络、无线局域网络、Ad-hoc网络和无线传感器网络,而且能够为MIMO中继与认知无线电、多小区协作、能量传输等的结合提供有效的理论指导。