作为下一代无线通信关键技术之一的中继协作，一方面能够有效减少信号传输的路径损耗，另一方面可以提供额外的源到目的的传输链路，因此能够有效扩展系统的覆盖以及显著提高系统吞吐率和数据传输的可靠性。在多天线配置下，中继协作结合MIMO技术能够同时利用多天线的空间自由度和中继链路实现更有效的数据传输，因此多天线中继系统在学术界以及下一代通信标准中都进行了大量的研究。　　 对多天线中继的研究，虽然在系统容量研究方面已经取得了一些理论结果，单中继和多中继协作下放大转发中继系统也获得了相对成熟的传输策略，但是，多天线解码转发中继系统中还有很多问题没有解决。因此，论文针对多天线解码转发中继系统进行研究。由于解码转发中继系统在中继端需要先正确解码数据，导致系统容量受两跳容量中最差的限制，系统设计通常需要联合考虑两跳的影响从而最大化系统性能。　　 论文针对多天线单中继协作系统，以及多天线多中继系统，分别提出了通过有效协调两跳传输链路来最大化系统性能的传输策略。　　 首先，针对多天线单中继协作传输，研究了考虑直传链路的协作接收分集系统中，基站配置多天线时的基站预编码设计问题。相比其它协作方式，协作接收分集方式能够避免额外的基站功率和传输时隙，有效利用直传链路提高系统吞吐率。在基站配置多天线的协作接收分集系统中，基站预编码会同时影响基站到中继和基站到用户两条链路，从而同时影响中继容量和用户容量这两个最大流最小割割集的容量。针对该问题，论文首先提出了一种线性协调策略，通过对两条链路各自最优预编码的线性组合，并根据信道状况调节线性因子，从而一定程度上实现了协调两条链路性能、提高系统吞吐率的目的。然后，考虑到基站同时到两个接收点的类多播特性，提出了MISO多播系统的最优闭式预编码，相对传统的半正定松弛方法，特别是在两用户的情况下，能够降低复杂度并获得最优性能。将该闭式预编码运用到多天线中继协作接收分集系统中进行迭代求解，可以获得近似最优的基站预编码。　　 其次，考虑多中继进行协作传输的场景，针对中继到用户链路较差导致系统性能受限的情况进行研究。对多中继服务单用户系统，考虑中继到用户链路性能受限的情况，论文提出了一种基于多播线性收发机辅助的多流多播策略。基站到中继链路进行多流多播的数据分发，并在第二跳进行共享数据多中继的联合传输，有效提高了多流多播吞吐率，并提高了系统的整体性能。