多输入多输出（MIMO，multiple-input multiple-output）技术可以显著的改善接收信号的质量并提高数据传输速率。然而，许多无线设备由于尺寸和硬件复杂度的限制只能配置一个天线，例如大部分手持式终端和无线传感器网络中的节点设备等，对于这些设备是不能直接使用MIMO技术的。针对这种情况，人们提出了协作分集的思想，具体包括放大转发（AF，amplify-and-forward）和译码转发（DF，decode-and-forward）等常见的协作分集协议。协作分集技术可以使若干个单天线设备共享它们各自的天线组成一个虚拟的多天线发射机，从而可以为系统带来发射分集增益，因此，基于协作分集的无线通信系统可以获得类似于MIMO系统的一些益处。在协作通信系统中，如何改善系统的频谱效率和分集增益是两个最为重要的问题。其中，常用的改善频谱效率的方法是采用双向协作通信系统。在对该双向系统的性能分析中，现有的文献均将两个单向信道分别进行分析。但是，双向协作通信系统实际上是一种多用户系统，单独考虑其中某个单向信道的性能是不合适的。提高协作通信系统分集增益的方法主要有发射天线选择技术、中继选择技术和波束形成技术等。但是，现有的文献对发射天线选择技术的研究完全集中在AF协作系统中，而对中继选择和波束形成技术的研究则完全集中于单向协作系统中。本文针对这些缺点和不足展开研究，取得的主要成果有：1.单向DF协作通信系统中的发射天线选择方案针对一个信源和信宿之间存在直射信道的两跳DF协作通信系统，提出了两种发射天线选择方案TAS-I和TAS-II，并在衰落信道下进行了详细的性能分析和比较。推导得到了两种发射天线选择方案中断概率的准确闭合表达式，以及在高信噪比区域的渐进表达式，并确定了两种方案可以实现的分集增益。理论分析和蒙特卡罗仿真实验均表明本文提出的两种发射天线选择方案在Rayleigh衰落信道下都可以实现满分集增益。2.双向AF协作通信系统中的中继选择方案(1)针对变增益的双向AF协作通信系统，首次推导得到了系统中断概率和平均系统误码率的准确积分表达式和近似闭合表达式，接着提出了一种双向中继选择方案，并在衰落信道下进行了详细的性能分析。理论分析和蒙特卡罗仿真实验均表明本文提出的双向中继选择方案在Rayleigh衰落信道下可以实现满分集增益。(2)针对固定增益的双向AF协作通信系统，研究了一种双向中继选择方案并在衰落信道下进行了详细的性能分析。首次推导得到了系统中断概率的准确积分表达式和一个较紧的闭合形式下界，并通过蒙特卡罗仿真实验对理论分析的结果进行了验证，进而证实该双向中继选择方案在Rayleigh衰落信道下可以实现满分集增益。3.双向AF协作通信系统中的波束形成方案(1)针对点到点的双向AF协作通信系统，提出了一种波束形成方案并在衰落信道下进行了性能分析。推导得到了两个单向信道各自中断概率的准确闭合表达式，以及具有简单闭合形式的上界和下界，然后利用夹逼准则确定了该方案可以实现的分集增益，并通过蒙特卡罗仿真实验证实了上述理论分析的正确性。(2)针对基于波束形成的多用户分集双向AF协作通信系统，首次在衰落信道下对该系统中的最优用户选择准则可以实现的分集增益进行了详细的分析。推导得到了两个单向信道各自中断概率的闭合形式上界和下界，并利用夹逼准则确定了该系统可以实现的分集增益，然后通过蒙特卡罗仿真实验对理论分析的结果进行了验证。