理论和实验证明,协作通信系统在能量和带宽归一化的情况下,通过中继协助转发信息,可以获得更高的系统分集增益。和传统的多输入、多输出(Multiple-Input Multiple-Output,MIMO)系统不同,作为一种新的空域分集技术,协作通信系统对通信设备的天线数目没有要求,而是通过搜集网络中的空闲天线做为中继形成虚拟MIMO,从而实现空间上的分集。另一方面,对于多源、多宿的协作组播网络而言,在中继节点实施无线网络编码还可以提高系统的吞吐量。本文针对协作通信中的一些关键技术进行了深入探讨,主要研究内容如下:首先,本文对单源、单宿、多中继协作通信系统的吞吐量-可靠性权衡(Throughput-Reliability Tradeoff,TRT)进行了详细分析。TRT起源于MIMO系统,用于揭示系统的传输速率、中断概率和信噪比三者之间的内在联系。并采用操作区域的概念,使其分段线性逼近任意传输速率和信噪比下的中断概率曲线。TRT的提出者在其论文的结尾抛出了一个遗留问题,即TRT的信息论准则能否适用于除MIMO以外的其它通信系统。为了解决这个问题,我们建立了一个基于中继节点分时复用调度策略的直接放大中继(Amplify-and-Forward,AF)协议和解码中继(Decode-and-Forward,DF)协议。针对这两种协议,我们进行了详细深入的TRT分析,推导出相应的操作区域以及不同区域中的吞吐量增益和可靠性增益表达式。我们得出的结论是,虽然TRT表达式仍然适用于所提出的协作通信系统,但是操作区域的划分以及对应的吞吐量增益和可靠性增益却不同于MIMO系统,这是由协作通信系统的特点所决定的。实验证明,我们的TRT分析准确的揭示了协作通信系统中传输速率、中断概率和信噪比之间的关系。然后,本文研究了两源、两宿、单中继的协作组播网络,提出了三种网络编码协议,即非再生网络编码(Non-Regenerative NetworkCoding,NRNC)、复数域再生网络编码(Regenerative Complex FiledNetwork Coding,RCNC)和伽罗华域再生网络编码(Regenerative GaloisFiled Network Coding,RGNC)。我们推导了三种网络协议下的分集-复用权衡表达式(Diversity-Multiplexing Tradeoff,DMT),并将其与没有网络编码传统传输机制进行比较。DMT的分析结果表明,在低的系统复用增益下,三种网络编码具有相同的分集增益,然而,随着复用增益的增加,NRNC协议将获得比另两种协议更高的分集增益。相比于传统的传输机制,在相同的复用增益下,三种网络编码协议均具有更高的分集增益。换句话说,在相同的系统性能下,网络编码协议由于其较大的复用增益,因此获得了比传统的传输机制更大的网络吞吐量。紧接着,我们推导了三种协议的系统误帧率,并以此为目标函数,对发射节点的功率分配进行了优化。功率分配的优化分别考虑发射端基于统计信道信息和瞬时信道信息两种情况。最后,本文深入探讨了两源、两宿、任意中继的协作组播网络,并采用分时复用的中继节点调度策略。基于这种模型,我们分析了三种网络编码协议的系统误帧率。通过误帧率表达式,认为系统在中继分时协作的调度策略下无法达到满分集增益,因此我们提出了相应的预编码方案。对于NRNC,联合了功率分配和预编码设计,在基于信道统计信息的功率分配下,提出了分离式预编码方案,而在基于瞬时信道信息的功率分配下,我们提出了分布式预编码方案。根据实施预编码后的系统误帧率表达式,NRNC协议可以达到满分集增益。对于两种再生网络编码协议,则提出了新的节点调度策略,结合此调度策略,提出了联合信源-中继预编码方案,从而使系统获得更多的分集增益。同时,我们通过结合功率分配和预编码,获得更好的系统性能。理论分析与实验表明,在多中继的网络编码协议下,仅靠功率分配只能从编码增益上改善系统性能,无法使系统获得满分集增益。只有结合预编码设计才能够获得更多的分集增益,从而可以大幅度提升性能。