随着移动通信事业蓬勃发展和用户需求的不断增长，高速率﹑高带宽﹑多业务﹑低成本﹑低能耗已经成为移动通信系统发展的新趋势。以多输入多输出(MIMO)技术为代表的空间分集技术能够充分利用空间资源来抵抗无线信道中的多径衰落，在提高未来无线通信系统的可靠性和频谱利用率方面有着巨大的潜力。但是，由于受到移动终端的尺寸、功率损耗﹑硬件复杂度等因素的限制，MIMO技术在无线通信系统中的普及较为困难。近年来，协作分集技术通过多用户环境中的单天线终端共享各自的天线和其他资源，组成虚拟MIMO系统，从而获得空间分集增益，为多天线技术的实用化提供了一条新思路。本论文针对协作分集领域中的协作混合自动重传请求(HARQ)方案的设计和能量效率增强技术展开研究，提出了特定场景下的解决方案，并进行了理论分析和仿真验证。本论文的主要贡献概括如下：1.在重传方案设计方面：针对传统重传方案不能充分利用协作通信的特点，导致协作通信重传效率不高的问题，从结合网络编码和重传时机选择两个方面分别提出用于特定场景下新的协作通信重传方案：1).针对传统双向译码转发(DF)中继系统和正交调制系统中重传效率不高的问题，引入网络编码，分别提出了基于网络编码双向中继HARQ方案(NC-TR-HARQ，)与联合正交调制与网络编码的HARQ方案(NC-QM-HARQ)，这两种方案通过计算联合似然值的方法来实现对网络编码后信息的似然值合并，从而节约近5%的传输时间并提高了传输效率。以数据帧为单位分析了其一阶Markov过程，得到其误帧率和吞吐量的闭式近似解。仿真结果表明，当中继位于两个用户连线的中点附近时，NC-TR-HARQ吞吐量性能比传统方案要高6%。2).针对传统协作传输方案中信道利用率和重传效率不高的问题，提出了两种非正交全分集协作(FDC)系统的HARQ方案:定长帧协作混合重传(FFC-HARQ)和变长帧协作混合重传(VFC-HARQ)方案，FFC-HARQ和VFC-HARQ分别采用了固定帧结构和可变帧结构。并且推导了这两种方案的中断概率和吞吐量的理论表达式。仿真结果表明，提出的方案不仅改善了传统FDC系统的中断性能，而且提高了系统的吞吐量。2.在能量效率增强方案设计方面：针对协作系统的能量效率展开研究，提出了在特定场景下“如何高速率低能耗地传输”的解决方案：1).使用双向放大转发(AF)中继传输的能量损耗与直连传输的能量损耗的比值来衡量协作能量增益，并分析了信道状态误差对其的影响。在满足中断概率要求下，以最小化能量损耗为目标，应用拉格朗日优化的KKT条件来计算最优的功率分配因子。然后给出了双向中继传输的能量效率优于直连传输的中继作用区域。在此基础上提出一种低复杂度传输模式选择方案，该方案是通过优化功率分配和选择最优的传输模式来实现能量效率增强的。仿真结果表明，当信道估计误差达到0.03时，双向AF中继将失去它在能量效率方面的优势，这与理论分析相符合。2).在基于正交调制的协作系统中引入增量中继，提出了一种增强型正交调制协作系统，并以数据帧为单位分析了其一阶Markov过程，得到其误帧率的闭式近似解。然后给出一种低复杂度的准最优功率分配(QOPA)方案，该方案以最小化系统误帧率为目标，通过迭代计算获得最优功率分配因子。仿真结果表明，与传统正交调制(QM)系统相比，在误帧率为102~104时增强型QM(IQM)方案最大可提供约4dB的性能提升，采用QOPA方案还能获得额外约3dB的性能增益。3).提出了增强型译码转发-HARQ(IDF-HARQ)系统的能量效率增强方案。该方案首先利用能量消耗模型和马尔科夫链状态转移模型获得IDF-HARQ系统的单位有效帧能量损耗(EPGF)的闭式表达式。然后在总功率受限的条件下，将最小化EPGF的目标函数转化成一个带参数的凸函数，从而获得最优的功率分配并选择最佳的调制方式。实验结果表明与只考虑系统吞吐量性能的传统方案相比，所提的方案能够有效地提高IDF-HARQ系统的能量效率。