中继传输方案与信道编译码技术的结合是现代通信系统中的研究热点之一。低密度校验(Low-density Parity-check,LDPC)码作为性能逼近香农极限的“好码”之一,当今已应用于多种通信环境中。Relay系统协作通信技术通过源点、中继节点和目标节点之间的协作与迭代,能明显降低信息传播过程中的错误扩散概率,增强系统的纠错能力。Relay系统的研究涉及多用户信息论,协作通信,编码调制理论等,其中一个重要方向是设计编译码方案并通过协作提高系统性能。目前针对Relay系统的编译码研究侧重于容量逼近设计,以较高复杂度换取码性能的最优化。在协作通信设计上,一般采用编码优化及信号处理等机制。本文主要对基于LDPC码的中继协作通信系统进行译码策略与信号调制方案的研究,所完成的研究工作和创新点主要包括以下几个方面:1.有别于传统的外信息计算方法,本文引入了一种基于硬判决序列的外信息函数向量。该向量用于表示目标节点两个译码器判决结果的差异性。结合新定义的外信息函数,并利用信源节点至目的节点信道传输信号与中继节点至目的节点信道传输信号的高度相关特性,进行Relay系统中的译码方案设计。2.提出一种基于LDPC码的中继系统相关信源迭代/检测译码算法。该算法中将前一时刻的码字作为本时刻的高度相关码字进行计算,两个译码器的外信息通过基于硬判决异或向量z相关的似然比(LLR)计算。仿真结果表明,提出的相关信源迭代译码算法相比基于Turbo原理的传统中继译码算法在误码性能方面有一定的提升;同时,本文算法的计算复杂度更低,并拥有更快(约两倍)的译码收敛速率,便于硬件设计与实际应用。3.针对三节点单中继系统,提出一种在信源节点和中继节点之间的信号星座(constellation)协作调制机制。基于该协作机制,信源节点的信号星座根据前一时刻码字(与中继节点端的译码结果对应)的星座联合协作设计,使它们的星座信号在目的端实现同向有益叠加,从而提升目的节点译码性能。仿真结果表明,在各自优化的功率分配参数下,引入信号星座协作的相关信源迭代检测/译码算法系统与未引入系统相比,性能约有1.2dB的增益。