无线通信系统中，为了进一步提高传输速率和传输可靠性，研究者们提出了协作通信技术。其基本思想是：网络中每个节点向目的节点发送信息的同时，作为中继帮助其他节点转发信息。通过节点间共享彼此的天线，组成虚拟的多输入多输出(MIMO)系统以获得空间分集增益，进而提高系统性能。协作通信技术可以有效增加分集增益，扩大网络覆盖范围并降低终端发射功率，得到了工业界和学术界的广泛关注，并有望成为第四代移动通信系统的关键技术之一。本文针对协作通信系统中的分布式空时编码技术及其检测技术展开研究，重点解决非同步协作通信系统中码间干扰（ISI）估计和消除问题，以及半双工中继网络中的满速率传输问题：首先，针对非同步协作通信系统中的ISI问题，提出了基于非相干检测的ISI估计和消除算法。该算法使用分布式差分空时编码技术，在目的节点不知道任何信道状态信息（CSI）和定时误差信息的情况下，实现ISI的消除，并获得较好的误码率性能。该算法计算复杂度低，对码字速率影响小，并有效解决了传统ISI消除方案中CSI估计复杂度高，实现难度大的问题。接着，本文研究了具有满码字传输速率半双工中继传输方案的误符号率，重点分析了两通路连续中继（TPSR）方案和满速率传统中继方案。文中给出了上述两种方案的误符号率，进一步分析：满速率传统中继方案在调制阶数很低的情况下性能略优于TPSR方案，而调制阶数较高时，TPSR方案性能更优。即TPSR方案适用于高速无线网络。最后，针对TPSR网络引起的中继间干扰（IRI）问题，提出了两种IRI消除方案：部分IRI消除方案和基于信号空间分集（SSD）编码的差分传输方案。部分IRI消除方案中，目的节点保留部分IRI信号作为码字符号的副本，在译码过程中加以利用以提高系统性能。同时，针对这一方案译码复杂度较高的问题，提出迭代最大比合并译码算法，并给出了相应的分集增益分析和性能仿真。结果表明，部分IRI消除方案可获得额外分集增益并有效降低误符号率。最后，本文提出了基于SSD编码的差分传输方案以解决基于AF中继的TPSR网络中CSI估计复杂度高的问题。该方案中，目的节点无需知道任何CSI，而中继节点仅需估计中继间信道，即可有效消除IRI并对接收信号进行非相干译码，具有较低的计算复杂度和CSI估计复杂度。