新一代无线通信网中，对传输速率和频谱的利用率的要求提高。网络编码作为新一代无线通信系统的关键技术之一，它对改善移动通信的频谱利用率，优化网络结构，降低误码率有着至关重要的作用。网络编码技术的主要优点是在中间节点将来自不同信道的信息进行再编码，是一种从网络总体或系统性的角度出发，有效解决最大流量、路由策略等问题的新的信息传输技术。另一方面，协作中继技术在不增加硬件复杂度的情况下，可获得协作分集，从而有效对抗信道多径衰落的影响，提高系统传输可靠性，并且可以增加系统的覆盖范围，所以近年来受到越来越多的关注，已经成为3 GPP LTE-Advanced无线通信标准的候选技术之一。更为重要的是，物理层网络编码与协作中继技术相结合可以进一步提升系统性能，相关的理论研究及应用成为近几年来的研究热点。　　 本文首先将围绕物理层网络编码的基本原理、最新研究进展以及其在协作中继网络中的应用展开论述，分析多用户间的协作、网络编码对频谱利用率、误码率、吞吐量等性能指标的影响。其次，考虑到高阶的数字调制方式是提高系统传输速率的有效方式之一，而且协作网络编码与数字调制技术有较大关联，研究分析双源双宿单中继通信系统中将有限域的物理层协作网络编码与数字调制技术相结合的问题，并给出了不同调制方式下系统的误帧率和吞吐量。最后，考虑到物理层网络编码因频率选择性衰落而导致的抗误码能力下降，而OFDM具有较好的抗频率选择性衰落特性，ANC和CFNC可以提高协作通信系统的频谱利用率，提出了OFDM-CANC和OFDM-CCFNC的两种网络编码方案，并进一步地分析了OFDM-CANC方案下不同调制方式对系统性能的影响。