未来移动通信在传输速率、系统性能和系统业务容量等方面对无线通信系统提出了更高的要求。为了满足上述要求,我们在MIMO通信系统中引入了网络编码技术。网络编码技术是网络通信研究领域中的一项重要突破,网络的中间节点不再是简单的信号存储转发,而是将经过其节点的信息进行编码后再发送,从而提高了整个网络的传输效率、容量和鲁棒性。本文主要针对MIMO中继信道和双向中继信道进行研究,分别提出了网络预编码方案和基于最小均方误差(MMSE)的联合网络编码-波束成型方案。MIMO信道利用中继帮助移动用户转发数据,可获得额外的分集增益,改善接收端的BER性能,是提高移动用户在小区边缘通话质量的有效手段之一。传统中继方案(包括单天线增益和MIMO中继)需要为每个源节点逐个转发数据,使传输效率随着网络规模的增加而大幅度下降,本文提出了一种网络预编码方案,在中继节点实现网络编码和预编码技术的联合设计,不仅可使网络吞吐量灵活变化,还可进一步提高系统性能。对于无线双向中继信道(TWRC),两个源节点在中继节点的协助下完成信息交换,源节点通过利用模拟网络编码(ANC),从接收到的信号中消除自身干扰译出希望得到的信息,本文研究中继节点基于ANC的波束成型方案,提出了MMSE联合网络编码-波束成型方案,与最优波束成型方案相比降低了算法的复杂度,同时性能较次优波束成型方案有了较大改善。