为了满足多速率,多业务通信的需求,下一代无线通信系统必须能够使用更好的技术和框架,以增加数据速率而且还要使系统满足各种业务的QoS需求。多输入多输出（Multiple Input Multiple Output,MIMO）技术能够更充分地利用有限的频谱资源提供可靠的宽带数据业务,是新一代无线通信系统可能采用的关键技术之一。协同通信技术作为一种虚拟的MIMO技术,融合了分集技术与中继传输技术的优势,提高系统的信道容量和传输性能。网络编码理论是网络通信研究领域中的一项重要突破,网络的中间节点不再是简单的信号存储转发,而是将经过其节点的信息进行编码后再发送,从而提高了整个网络的传输效率、容量和健壮性。基于此,综合考虑系统的可靠性和有效性,论文从探讨网络编码与协同通信技术的有效结合方案入手,主要研究其结合方案设计、系统性能分析等。论文的主要工作包括:线性网络编码在协同通信系统中应用的研究。分别分析了线性网络编码在中继协同通信系统和协同通信系统中的应用。在中继协同通信系统中,针对提出的普通DAS（分布式天线系统）和采用网络编码的DAS模型,深入研究源节点与中继节点间的信道对系统性能的影响并提出一种相应的功率分配算法,给出了理论分析和仿真结果。结果表明两种方案的优劣与协同信道及各用户信道的传输特性有关。协同信道好时,采用网络编码的方案要好于不采用网络编码的协同通信;协同信道差时,则不采用网络编码的方案较好,但两者的差别并不明显。同时采用网络编码会在频带资源和降低复杂度上带来好处。提出一种空时网络编码协同通信系统。空时编码是将编码、调制、发送和接收分集有机地结合,在获得编码好处的同时也得到了分集好处,可以有效地提高无线衰落信道的传输性能。论文结合网络编码、空时编码和协同通信技术,提出一种空时网络编码协同通信系统,并进行计算机性能仿真。当两用户间的协同信道理想,用户的上行信道对称时,较仅采用空时编码的协同通信方案Pe为10^-3时,有大约4～5dB的编码增益。提出网络卷积编码协同通信系统。论文借鉴网络编码的思想,结合了网络编码、卷积编码和协同通信系统,提出一种网络卷积编码协同通信新系统,并进行性能分析,给出在Rayleigh块衰落和快衰落下系统的误比特性能上界。该系统将源和中继用户的各种链路看作一个编码器进行整体编码。仿真结果表明:在块衰落和快衰落情形下,论文提出的网络卷积编码协同通信新系统的性能较编码协同和不协同的性能均有至少3dB的性能改善。提出一种改进的网络卷积协同通信系统。先前提出的网络卷积编码协同通信系统中卷积码的选取对性能影响较大,所以码字的选择至关重要。基于此,论文又提出一种改进的网络卷积协同通信系统,同时也给出在Rayleigh块衰落和快衰落下系统的误比特性能上界;同时与传统的编码协同方案和非协同方案进行了比较。仿真结果表明:在两用户间的协同信道理想时,改进的网络卷积协同通信方案在慢衰落信道中,用户的上行信道对称和不对称时性能都有明显的改善。较编码协同通信方案在上行信道相同时有8～9dB的改善;在两者上行信道不对称时,编码协同对信道好的用户的性能影响较大,而本方案对信道好的用户影响小,对两用户都有明显改善。