随着无线通信技术的快速发展，人们对高速无线数据传输服务的需求也越来越大。但是由于无线频谱资源的日趋紧张，无线通信系统想要支持高速数据传输就必须充分而高效地利用有限的频谱资源，这是未来无线通信技术亟待解决的关键问题。近年来的研究表明，协作通信已经成为解决高速数据传输和大范围网络覆盖的关键技术。协作传输无线数据不仅能够获得空间分集增益，同时还能提高频谱利用率以及系统容量。而中继信道模型作为协作通信网络的重要组成部分更是得到了广泛的研究。分布式信道编码技术是为适应协作通信技术要求而产生的信道编译码技术。好的分布式信道编码方案不仅实现简单，而且可以在充分利用空间分集增益的基础上获得额外的编码增益，还能够进一步提升系统的可靠性能。由此可见，具有性能优异、实现复杂度低的分布式信道编码技术是协作通信系统中需要深入研究的一个核心问题。基于信道极化现象，Polar码(Polar Codes)被证明是一种可以达到端到端二元输入离散无记忆信道(Binary-input Discrete Memoryless Channel, B-DMC)对称信道容量的信道编码方案。Polar码作为一种结构化的信道编码技术，具有编码复杂度和译码复杂度都较低，且译码性能不存在错误平层的优异特性。因此，研究协作中继系统中具有低复杂度的Polar码编译码方法以及基于Polar码的高效协作传输协议以达到中继系统容量具有重要的理论和实用价值。本文将Polar码作为一种强有力的信道编码技术，不仅分析了级联Polar码的实际性能，还分别从理论和实际应用两个方面深入对在中继系统中应用Polar码的关键技术进行了研究。论文的主要贡献如下：第一，针对Polar码比特错误率(Bit Error Rate, BER)性能收敛速度较慢以及低密度生成矩阵(Low-Density Generator Matrix, LDGM)码存在高错误平层的问题，本文利用级联编码的思想，提出了一种将Polar码作为外码，LDGM码作为内码的串行级联Polar-LDGM (Serially-Concatenated Polar-LDGM, SCPL)码方案。首先通过对Polar码和LDGM码错误平层性能的理论分析，得出了将高码率的Polar码作为外码不仅可以保证SCPL码性能的收敛速度，同时由于其优异的错误平层特性，通过合理地设计也可使SCPL码不存在错误平层的重要结论。然后给出SCPL码的编码方法以及基于Tanner图的消息迭代译码算法。最后通过合理地选择SCPL码编码设计参数（即内外码速率组合以及内码码重），验证了不同参数下BER性能的差异。与低密度奇偶校验(Low-Density Parity-Check, LDPC)码和级联Polar-LDPC码相比，外码码长为N1、内码码长为N的SCPL码编码复杂度仅为O(N1logN1)+O(N)。仿真结果表明，SCPL码具有逼近香农限的性能，并且直到BER降到10-10也没有出现错误平层。第二，针对退化半双工单中继信道模型，根据信道极化现象，提出了一种基于Polar码的协作部分消息中继转发(Cooperative Partial Message Relaying, CPMR)传输协议。理论分析表明，在该模型中采用CPMR方案可以获得渐进达到中继信道容量限的性能，并且推导出在连续取消(Successive Cancellation, SC)译码算法下平均分组错误概率的上界。针对CPMR方案在退化半双工单中继系统中的实际应用，首先分析了中继系统容量限，阐释了影响系统容量限的关键参数——时隙分配因子和中继节点与信源节点之间的距离。然后设计了一种基于Polar码的联合软信息并行迭代干扰消除(Joint Iterative Soft Parallel Interference Cancellation, JISPIC)接收器。最后对有限码长CPMR方案的可行性进行了仿真验证。与单中继系统中传统LDPC码方案相比，本文提出的方案继承了Polar码所具有的更低编译码复杂度的优点，并且获得了可以与LDPC码相媲美的性能。第三，针对多中继系统中非构造性的随机编码方法编译码复杂度较高的问题，本文将单中继系统中基于低复杂度Polar码的CPMR传输协议扩展到多中继系统中，中继节点可以根据下一个中继节点或信宿节点需要的可靠消息灵活地转发译码后的部分消息。根据中继节点需要转发的部分消息与部分消息信息比特索引集合之间的对应关系，围绕两种具有正交接收部件的退化多中继网络(Multiple-relay Network with Orthogonal Receiver Components, MRN-ORCs)系统模型，给出了求解相应中继节点待转发部分消息信息比特索引集合的算法，分析了构造性Polar码编译码方法，证明了Polar码的码长N→∞且(0,12)时，CPMR方案可以渐进达到这两类退化MRN-ORCs的系统容量，同时推导出平均分组错误概率上界仅受限于O(2N)。最后仿真验证了有限码长CPMR方案实际应用的可行性。