未来的无线通信系统要达到的目标是实现一个无处不在的宽带高速无线网络。为实现这一目标,针对传统蜂窝网络结构的网络,如何能够有效提高小区边缘用户数据速率是未来移动通信系统设计中面临的挑战。中继增强型的蜂窝网络架构,通过在传统小区中部署中继节点,能够在低成本下扩展小区的高速率覆盖范围。另一方面,多入多出MIMO (Multiple-Input Multiple-Output)通过在点对点链路的收发端配置多天线极大地提高数据传输的可靠性和峰值频谱效率。近来,将MIMO技术应用于中继网络中,也就是所谓的MIMO中继网络受到了广泛的关注。MIMO技术与中继技术的结合给物理层技术带来了新的挑战,需要针对中继链路的特点,设计独特的线性滤波矩阵,充分发挥多天线的复用增益,提高系统的吞吐量。本论文以多用户MIMO中继系统为研究对象。主要针对HAF中继模式,从理论上对MIMO中继系统中各个节点上的线性滤波器进行了理论分析和建模,并提出了能够消除用户间数据流干扰的滤波器设计方案和针对信道状态信息非完美条件的可靠线性滤波器的设计方案。通过仿真和比较,验证了MIMO中继系统中的线性滤波器设计方案的性能。本论文首先对多用户MIMO中继系统下行链路进行滤波器设计和用户选择算法的研究。为了消除用户间的干扰,滤波器设计主要是基于第一跳链路信道矩阵的SVD分解和第二跳链路的BD分解,然后问题就转化为中继站上的功率分配问题,可以通过注水算法得到一个闭式解。同时,在实际系统中,一个中继系统需要与大量的用户进行通信,这就需要从备选用户集合中选择一个最优的用户子集进行通信。由于穷尽搜索的计算复杂度较高,所以提出一种基于MIMO中继信道容量的复杂度较低的多用户选择算法。仿真结果表明论文中的线性滤波器设计方案与等功率分配方案相比可以明显地提高系统的性能,论文中提出的多用户选择算法可以实现复杂度和系统性能的有效折中。其次,本论文研究了在非完美信道状态信息条件下,基于MMSE准则设计的MIMO中继系统下行可靠线性滤波器设计方案。论文中非完美信道状态信息由信道估计和信道误差协方差矩阵两部分组成。其中可靠滤波器的设计是基于KKT条件求解的。最优化问题得到求解之后,论文对信道估计误差和天线相关性对系统性能的影响进行研究。仿真和比较结果表明,该可靠滤波器设计方案能够有效的抵抗信道状态信息估计误差的影响,从而提高系统的可靠性。此外本论文还通过搭建符合LTE-advanced要求的多小区MIMO中继系统的仿真平台,对中继的性能进行了评估以及无线资源管理算法的研究。仿真结果表明,在现有的蜂窝系统中加入中继可以提高小区的系统容量,但是由于基站和中继结点之间的干扰导致系统的吞吐量性能受限。论文在最后对全文进行了总结,并指出了多用户MIMO中继系统中的滤波器设计策略今后的研究方向。