在无线通信系统中，信道的衰落会降低信号传输的可靠性，影响通信质量。分集技术作为一种对抗衰落的有效手段，能提高无线通信性能，已经得到了广泛的研究和应用。与传统的时域分集和频域分集技术相比，基于多天线发射或接收的空域分集技术由于不需要占用额外的时域或频域资源来传输冗余信号而具有更大的吸引力。但是，由于大小、成本和能耗等限制，在某些无线终端安装多根天线具有一定的困难。协同分集技术通过用户之间共享天线，实现虚拟多天线传输以获得空域分集，成功的解决了这一问题，是一种具有较大实用价值的新型分集技术。协同分集技术作为一种新型技术在走向应用的过程中仍有很多有待解决的问题，本文主要针对这些问题，对协同分集技术进行优化设计，研究提高协同分集性能或效率的方法。能否有效的与其它新型通信技术相结合，是协同分集技术面临的重要问题。放大前传协同方法能够以较低实现复杂度获得满分集度，是一种重要的协同分集方法。网络编码技术由于可已获得通信网络效率的提升而成为一种热门的通信技术。本文提出了一种基于网络编码的放大前传协同分集方法。在该方法中，协同用户通过将本地信号与接收到的协同伙伴的信号相乘，在模拟域实现网络编码，在此基础上，利用网络编码的特点，基于1个反馈比特，选择即时信道条件较好的用户传输网络编码数据，可有效提升放大前传协同分集频谱效率。在通过理论推导得出了该方法的误比特率的上界的基础上，由数值及仿真结果证明了该方法在提高频谱效率的同时，可以获得与普通放大前传协同分集方法相似的性能。空时协同分集技术是一种高效的协同分集技术，本文研究了空时协同分集技术，针对协同分集方法中数据两次传输的特点，提出了一种基于Alamouti空时编码的自适应空时协同分集方法，从而较大的提高了空时协同分集技术的传输效率。其基本原理是：在协同用户首次传输后，基站就进行检测并反馈检测结果，协同用户根据检测结果对后续传输进行优化。在推导出了该方法的误比特率性能之后，通过理论和仿真结果证明了该方法既能够降低空时协同分集的误码率，又能够节省传输时隙以提升系统吞吐量。对各种信道条件的适应能力是协同分集技术生存的关键问题之一，但是，与非协同方法相比，在有时域分集的信道条件下，普通有校验解码前传协同方法不仅不能获得性能提升，反而会导致性能下降。本文提出了一种基于信号空间分集的有校验解码前传协同方法。在所提方法中，协同用户将中继信号和自己的信号按信号空间分集的优化方式进行旋转叠加然后传输，基站对数据进行迭代检测。仿真结果表明无论信道是否存在时域分集，所提方法均可获得较好的误码率性能。最新的研究表明无校验解码前传协同方法能够在低复杂度的情况下通过各种方式接近或达到满分集性能，具有较好的应用前景。但由于发生在中继节点处的错误传播，无校验解码前传的性能分析及优化具有一定的难度。本文在建立无校验解码前传断线率模型的基础上，提出了一种在各态历经性信道中基于少量反馈比特的最小化断线率的方法。仿真结果表明该方法仅通过很少的反馈比特就可以显著的提升性能。