多用户多输入多输出(Multiple-Input Multiple-Output,MIMO)可以同时获得空间复用增益和多用户分集增益,能显著提高系统吞吐量和用户传输速率。在多用户MIMO中继系统中,空时编码通过在多个天线所发送的数据上利用时间和空间的相关性,从而在不用牺牲带宽的条件下就可以提供编码和分集增益,提高系统的传输效率并有效减少多径衰落,是实现宽带资源日益紧张的高速无线数据通信系统的重要技术之一。随着用户数量的增加以及对海量数据的传输需求,现有的空时编码算法提供的分集增益有限且无法解决多用户千扰问题,已不再适用于多用户MIMO中继系统的空时编码。为了解决这些问题,本文提出了基于非对称嵌套张量分解的多用户MIMO中继系统空时编码算法,主要研究内容如下:首先,当前基于矩阵的空时编码对于MIMO中继系统中存在的多个信道,没有充分利用张量的强代数结构以获得更多的分集增益和编码增益,导致系统的可靠性无法满足需求。本文在介绍了 MIMO中继系统的基本理论和系统模型后,针对单向两跳MIMO中继系统,提出了一种非对称的空时编码方案,在信源和中继处分别采用不同个数的空时编码矩阵进行编码,带来多个分集增益,以提高系统的可靠性。利用该方案建立了单向两跳MIMO中继系统空时编码的系统模型,由于模型中接收端得到的是高维信号,无法用现有的张量分解处理。因此,本文提出了非对称嵌套张量分解,并将接收到的高维信号通过非对称嵌套张量模型表示,以解决接收问题。其次,用非对称嵌套张量表示的高维接收信号无法直接估计原始信息,需要推导接收算法。利用张量模式展开将非对称嵌套张量分解展开成多个矩阵形式,推导出基于交替最小二乘(Alternating Least Squares,ALS)的半盲接收算法,联合估计原始的信号和信道信息。由于该接收算法需要进行迭代,计算复杂度较高。在此基础上,提出了一种闭合形式的半盲接收算法,在不降低估计精度的情况下,减少算法迭代带来的复杂度。仿真实验验证了所提算法对误码率性能提升的帮助。最后,针对多用户MIMO系统中多个用户间的共信道干扰问题,引入波束成形技术。利用波束成形准则和算法设计预编码矩阵,与信道结合以消除多用户干扰,并提出波束成形联合空时编码方案。将基于非对称嵌套张量分解的空时编码联合波束成形算法应用到多用户MIMO AF中继系统中,与当前算法进行仿真对比。实验结果证明该算法有效解决了多个用户间的干扰问题,并提高了误码率性能。