多入多出(Multiple-input Multiple-out, MIMO)中继传输技术结合了多天线技术和中继传输技术的双重优点,既增大了系统覆盖范围又提高了系统传输的有效性和可靠性。因此在新一代无线通信系统中,MIMO中继系统引起了广泛关注。随着先进信号处理技术的快速发展,全双工技术的应用也成为可能。全双工技术允许一个通信节点使用相同的频率资源同时发射与接收信号,从而可以克服传统中继系统中半双工模式造成的频谱损失。将多天线技术引入的多用户全双工中继系统,可以丰富系统的传输调度方法,提高全双工中继系统的性能。本论文主要研究MIMO中继系统与全双工中继系统中的传输调度方法,其主要创新点可以总结如下：一,针对基于迫零(Zero-Forcing, ZF)收发机的MIMO双向中继系统,本论文首先使用顺序统计方法分析了单对用户场景下系统在空间独立以及空间半相关瑞利衰落环境中总体中断概率,不仅在空间独立瑞利衰落环境中求出了比现有分析更紧的中断概率上界,而且在空间半相关瑞利衰落环境中也求出了紧的中断概率上下界。在此基础之上,本文针对多对用户场景下提出了基于最大化系统最小信干噪比的用户对机会调度算法,该算法每次选择中断概率最小的用户对交换信息。算法中断概率与分集阶数的分析与仿真验证了该机会调度算法的性能优势,表明所提的算法实现了多用户分集。二,本论文将机会调度引入全双工中继系统,并且考虑全双工中继的天线收发角色自适应特性。首先提出两种调度算法：用户机会选择算法和中继收发天线选择算法。前者可以获得用户选择增益,而后者可以获得天线选择增益,分析与仿真表明后者在取得与前者相同性能的同时改善了用户公平性。在此基础之上本文还提出可以同时获得用户选择增益和天线选择增益的用户与中继收发天线联合选择算法,进一步改善了系统性能。二,针对多用户全双工中继系统,本论文研究了多用户全双工中继系统的传输调度算法。首先提出了中断最优的用户与天线联合选择算法,并对该算法的选择复杂度进行了分析。其次提出三种低复杂度的次优调度算法,即用户与目的节点天线选择算法、中继与目的节点天线选择算法以及次优的用户与天线联合选择算法,并对三种次优算法的复杂度和中断概率进行了分析与研究。中断概率与算法复杂度的分析表明所提的算法改善了系统中断性能,同时次优算法的复杂度小于中断最优算法,并且次优的用户与天线联合选择算法在高信噪比下与中断最优的算法实现相同的性能。