随着移动用户数的迅速增多、用户对高速数据业务需求的不断增长以及对服务体验要求的日益提高,如何提高多用户系统下的传输速率及改善小区边缘用户的通信质量是未来无线通信系统亟需解决的两个问题。多输入多输出(Multi-Input Multi-Output, MIMO)技术通过引入额外的空间维度,可以同时服务于多个用户并提供复用增益；中继通信技术通过中继协作基站传输,可以提高基站的覆盖范围并提供一定的协作分集增益。将MIMO技术和中继技术应用于多用户系统中,可以充分利用二者的优势,但带来的干扰问题会对系统性能造成较大的影响。本论文主要围绕多用户系统中的MIMO技术和中继技术展开研究,从提高系统性能和降低系统复杂度两方面,针对不同通信场景的特点分析其传输方案和干扰消除技术。论文的主要研究内容如下：(1)研究了多用户中继系统的传输方案及其干扰消除技术,提出了基于干扰消除的自适应中继传输方案。首先,为了提高系统的频谱效率,提出了复用相同时频资源的传输流程；其次,为了降低传输过程中产生的共道干扰(Co-Channel interference)对系统性能的影响,分别针对放大转发(Amplify-and-Forward, AF)中继和解码转发(Decode-and-Forward, DF)中继,分析了基于干扰消除的译码方案：然后,在AF中继和DF中继的基础上,提出了自适应的中继传输方案以进一步提高系统性能；最后,对上述方案的中断概率进行了分析,并推导出了闭式解。仿真结果表明,理论分析得到的中断概率和数值仿真结果吻合,证明了其正确性；相对于传统的三时隙中继传输方案,所提出的基于时频资源复用及干扰消除译码的中继传输方案可以有效提高系统吞吐量性能；相对于简单的基于AF中继或DF中继的传输方案,自适应中继传输方案有效结合了二者的优点,具有更好的系统吞吐量性能。(2)研究了多用户MIMO广播系统的干扰消除技术,提出了低复杂度的收发机设计方案及对应的功率分配算法。首先,在传统多用户干扰消除方案的基础上提出了一种低复杂度的收发机设计方案,在发送端使用信道反转和QR分解获取预编码矩阵,然后根据经预编码矩阵处理后的等效信道矩阵的特殊结构,在接收端使用简单的连续干扰消除译码实现空间解复用；其次,对传统方案和所提方案的复杂度进行了分析和比较；最后,为了降低连续干扰消除译码过程中错误传播现象对系统性能的影响,设计了最小化系统误比特率的功率分配算法。仿真结果表明,相对于传统方案,所提出的收发机设计方案具有相同的系统和速率性能和更好的误比特率性能,且需要更低的运算复杂度；所提出的功率分配算法以略微降低系统和速率为代价,进一步提高了系统的误比特率性能。(3)研究了多用户MIMO中继广播系统的干扰消除技术,提出了低复杂度的中继预处理方案及对应的功率分配算法。首先,基于传统的块对角化中继预处理方案,提出了等效的低复杂度中继预处理方案以消除多用户干扰；其次,以最大化系统和速率为目标,设计了对应的功率分配算法以提高系统和速率性能；最后,基于最小均方误差准则提出了增强的中继预处理方案,并为其设计了迭代功率分配算法以进一步提高系统和速率性能。仿真结果表明,提出的低复杂度的中继预处理方案有效消除了多用户干扰,且降低了传统方案的运算复杂度；通过在消除干扰和增大噪声之间进行折中,增强的中继预处理方案具有更好的系统和速率性能；对应的功率分配算法可以进一步提高各方案的系统和速率性能。(4)研究了多用户MIMO中继广播系统的高频谱效率传输方案及其干扰消除技术,提出了基于联合中继预处理的干扰消除方案。首先,提出在多用户MIMO中继广播系统中使用双路径连续中继(TwoPath Successive Relaying, TPSR)进行传输以提高系统的频谱效率并对通信过程中存在的干扰进行了分析；然后,设计了一种中继联合预处理方案以消除中继间干扰(Inter-Relay Interference);最后,使用研究内容(3)中提出的中继预处理方案消除剩余的多用户干扰。仿真结果表明,通过所提出的中继预处理方案消除了中继间干扰和多用户干扰后,基于TPSR的多用户MIMO中继广播系统可以有效减少半双工中继造成的频谱效率损失,能够获得接近理想全双工中继系统的传输速率。