多输入多输出技术(Multiple-Input-Multiple-Output, MIMO)在提高无线通信系统传输可靠性以及频谱效率方面，发挥着基础性作用。然而，由于受到终端尺寸、硬件复杂度和实现成本等因素的限制，导致其在工程实际中难以部署。近年来，网络编码(Network Coding, NC)协作通信技术作为MIMO的一种有效实现方式吸引了学术界的广泛关注，这是由于：一方面协作通信能够以较低的成本，通过形成虚拟MIMO来获得分集增益；另一方面在中继进行NC可以有效提升系统传输效率，解决协作通信频谱效率较低的问题。这些优点也使得NC协作通信技术被下一代移动通信标准(LTE-A)列为后续演进的关键技术之一。然而，NC在设计之初主要针对无差错的有线信道，如果将其应用于存在衰落效应的无线信道，则需要首先解决系统的可靠性传输问题。因此，本文围绕NC协作通信系统的传输可靠性问题展开研究。本文的具体研究内容包括：1）多址接入信道下基于NC的错误传播避免技术研究中，针对基于瞬时信道增益的链路自适应方法存在准确性差的问题，提出了一种基于接收信号对数似然比(Log-Likelihood Ratio,LLR)的改进算法。新算法采用LLR作为信号可靠性指示，将基于LLR与基于瞬时信道增益的误码率解析公式进行联立，得到基于LLR换算的等效瞬时信道增益，用该参数代替瞬时信道增益来计算功率因子。结果表明，新算法可以有效减少错误传播的影响，改善系统的误码性能。2）多址接入信道下基于用户公平性的NC技术研究中，针对传统指标无法有效反映协作用户整体可靠性的问题，提出了一种基于用户公平性的网络编码功率分配算法。在新算法中，首先采用共同中断概率作为优化目标，推导出中继功率分配的约束条件，根据该条件对用户信号进行叠加，然后通过最大比合并(Maximum Ratio Combination, MRC)和串行干扰消除(Serial Interference Cancellation, SIC)进行解码。结果表明，新算法能够有效维护协作用户的公平性，提高协作群组整体的传输可靠性。3）多信源多中继协作NC策略研究中，针对传统方案未充分利用中继间链路的问题，提出了一种联合中继排序(Relay Ording, RO)与最大分割距离码(Maximum Distance Separable,MDS)的改进方案。新方案利用MDS码能够积累互信息的特点，将RO思想引入其中，采用中断链路数作为排序权重对中继发送顺序进行规划，使得原本由于链路中断而无法进行NC的中继，通过解码其他中继的信号来对信源互信息进行积累，进而恢复编码机会。理论推导了新方案的系统满分集概率和系统中断概率，证明其具有扩散效应。结果表明，新方案能够有效改善系统的中断性能。4）异步物理层网络编码(Physical-layer Network Coding, PNC)译码算法的设计与优化研究中，分析了载波相位偏移对置信传播(Belief Propagation, BP)译码算法的影响，提出了一种基于相位预失真的改进算法。新算法通过预先在发送信号中加入特定的相位偏移，然后在中继进行相位均衡以及相应迭代公式的更新，去除了相位偏移对BP译码精度的影响，从而提高译码准确性。针对星座图扭曲、误码率解析公式难以求解的问题，提出了一种相位盈亏模型，利用该模型分析了所提出方法的相位偏移纠正性能，理论证明其性能上界，并且对算法参数进行优化。基于所得出的分析结果，提出了一种控制门限，有效避免了过度失真的问题。同时，将符号偏移作为权重因子，提出一种相位偏移估计方案，改进了估计稳定性随机飘移的问题。结果表明，新算法在非实时反馈信道和非理想相位偏移估计的情况下，可以有效改善系统的误比特性能。