无线信号的多径传播会引起衰落,分集技术是克服衰落的一种有效方法。通过在独立信道上传输冗余信号,并结合使用合适的接收机合并技术,分集技术能够提高时变信道的传输性能。协同通信是利用其它无线终端或者中继,互相协同传输,形成一个虚拟的天线阵列,从而利用空间分集来提高无线衰落传输的通信可靠性,协同通信已经被证明是抵抗衰落的一种低成本和有效的方法。此外,作为新出现的一种协同通信技术,网络编码在无线通信中获得了广泛应用,原因是无线传播环境的广播特性可以让网络编码技术更好地发挥其潜能。本论文的工作主要是进行协同通信理论性能和关键技术的研究,涉及多用户协同配对方法、异构协同机制的理论性能、协同网络编码方案等内容,本论文的主要内容包括三部分。第一部分研究多用户协同配对算法,目的是对虚拟多输入多输出(MIMO)天线技术的多用户配对算法进行分析和设计。行列式配对(DP)算法是上行虚拟MIMO系统的经典方法,但是对于实际实现来说,当用户数很多,该算法的复杂度太高。为了解决这一问题,本文提出了三种简化的算法,分别是准正交配对(SP)、相关角配对(CAP)和模值配对(FNP)算法,理论分析和仿真结果都表明,设置适合的闽值,相关角配对算法的性能非常接近行列式配对算法的最优性能,而模值配对算法只需要很少的信道状态信息就能够实现较好的性能,因此，对于虚拟MIMO传输,所提出的相关角配对算法和模值配对算法更易于在实际系统中使用。第二部分主要研究和评估多无线接入网络(RAN)融合时所采用的异构中继方案的性能及其影响因素。基于一种中断概率分析模型,分析了与多址接入技术和功率约束条件有关的分集增益。分析和仿真结果表明,中断概率主要取决于协同中继节点的数目、多址技术、归一化功率,以及无线信道特征；而且,中继节点的功率约束条件对于中断概率性能没有太多的影响,特别是当广播/多播无线信道条件足够好时。第三部分对协同无线网络编码进行了研究。近来网络编码被用于无线网络用以提高网络吞吐量,早期的无线网络编码研究主要针对信息理论中有限域的比特级异或网络编码进行信息理论分析。这种比特级运算已经证明非常适合于信道条件恒定的有线网络,但并不能很好地适用于无线网络,原因是无线信道具有时变特性。为了使网络编码便于无线场景的使用,陆续提出了物理层网络编码、模拟网络编码和复数域网络编码。本文针对协同中继网络中的模拟网络编码,提出了一种增加一次直传的优化传输方案,通过增加一次直传和优化功率分配,从理论上证明了能够提高系统容量。与传统协同网络编码相比,在一个两用户场景,所提方案表现出更好的系统性能。