协作通信是未来无线通信系统对抗多径衰落、提供高速率服务所需的关键技术之一。通过允许邻近节点共享彼此的天线发送信息,协作通信技术不仅利用中继传输扩大了网络的覆盖范围,并且形成了虚拟的多天线阵列,获得了空间分集增益。然而,受半双工工作模式的限制,中继对信号的转发往往需要占用额外的时间或频率资源,导致了协作系统的频谱效率较低,极大地限制了协作通信技术的应用。采用自适应传输技术,能够充分利用协作系统中各支路的信道状态信息,有效地提高系统的频谱效率。相比自适应放大转发系统,自适应解码转发系统允许源和中继采用不同的调制阶数发送信号,从而更灵活地适应信道的变化情况,更充分地发挥自适应传输提高频谱效率的作用。本文主要研究自适应传输技术在解码转发协作通信系统中的应用,包括发射机信号的星座图映射方案、接收机的分集合并技术、中继的转发方案以及自适应调制策略,对于提高协作通信系统的频谱效率具有一定的应用价值。针对自适应调制常用的多电平调制方式(M-QAM)功率效率较低的问题,为采用最大比合并器的多中继自适应选择解码转发系统设计了一种星座图映射方案。通过调整源和中继发送信号中各比特的星座图映射顺序,平均了信号合并后各比特的可靠性,提高了M-QAM调制方式的功率效率以及系统的分集合并增益。为了充分体现出星座图映射信息对信号合并性能的影响,推导了适用于不同调制阶数信号合并的软比特最大比合并器的新的误比特率表达式,为星座图方案设计提供了理论依据。此外,提出了一种低复杂度的启发式算法,获得了星座图设计问题的次优解。研究了自适应固定解码转发系统中接收机的选择合并技术,以降低中继的错误传播对协作系统性能的影响,并解决不同调制阶数信号的合并问题。与最大似然检测器和最大比合并器相比,选择合并器的结构更加简单、复杂度较低。改进了传统的适用于同分布信道下相同调制阶数信号合并的比例选择合并器(SSC),使其适用于非同分布信道下不同调制阶数信号合并的情况。改进后的合并器为各支路分配不同的比例系数,这样不仅能够体现出各源-中继信道不同的可靠性,并且能够反映出调制阶数的不同对信号传输性能的影响。另外,设计了一种采用比例选择合并器的解码转发系统的慢速自适应调制策略,以提高系统的频谱效率。为了在合并信号时更准确地用比例系数衡量各分集支路的可靠性,提出了一种单中继自适应固定解码转发系统中的增强型比例选择合并器(ESSC)。与传统的比例选择合并器仅利用了各支路的平均信噪比不同,在生成比例系数时增强型比例选择合并器还利用了中继-目的的瞬时信噪比。增强型比例选择合并器以稍高的计算复杂度为代价,进一步减轻了错误传播效应的影响。在此基础上,提出了解码转发系统的一种功率分配方案,并设计了慢速和快速两种自适应调制策略。为采用选择合并器的单中继自适应解码转发系统设计了三种复杂度不同的智能转发方案,包括采用离散功率控制、连续功率控制和功率分配的智能转发方案。智能转发可以在中继处充分地利用源-中继的瞬时信噪比信息,优化源和中继的发射功率,能够有效地提高系统的功率效率,极大地降低错误传播对解码转发协作性能的影响。最后,为提高频谱效率,对采用智能转发时的解码转发系统的慢速自适应调制策略进行了设计。