协作通信技术是一种利用地理上分散的单天线无线节点实现空间分集的新技术。它解决了由于尺寸、发射功率、以及系统造价的限制一个无线终端上无法通过安装多个天线获取空间分集的问题。与常规通信相比,协作通信技术具有更高可靠性、更高功率效率和更高频谱效率的优势。目前WiMAX, LTE等无线通信标准已经将协作通信列入到标准草案中。由于无线网络存在较多节点,所以协作通信常以分布式空时中继系统的形式实现。因此,理解和改进分布式空时中继系统中的关键技术对于协作通信技术的发展有着非常重要的意义。本文的研究思路是理解分布式空时中继系统存在的关键问题,并提出有效的改进方案。论文通过比较解码-转发(DF),放大-转发(AF)以及解调-转发(DmF)三种中继方式之间的优劣,指出了各种中继方式的特点和需要解决的问题。然后根据这些结果,总结了分布式空时中继系统需要解决的关键问题。本文围绕着如何改进这些问题,进行了以下工作：基于DF的分布空时中继系统与多天线系统物理层功能近似,因此关键问题是跨层设计和资源分配。在跨层设计方面,针对多用户空时协作分集系统中提出了两个能充分利用协作过程的自动重传协议(ARQ)——协作前ARQ协议和协作后ARQ协议。详细分析了系统的平均吞吐率,并比较了不同协议下的系统性能。理论和实验均证明提出的ARQ协议可以极大提高系统的吞吐量。在资源分配方面,因为协作通信会引起额外的功率消耗,所以在资源受限网络中协作通信不一定是功率效率最大的通信方式。据此提出了一种功率效率的选择性协作通信模式。实验证明该模式能有效地提高网络功率效率。基于AF方式的分布式空时中继系统的关键问题是：固定的中继集合大小限制了系统对上层业务的广泛支持；噪声传递导致目的端接收噪声在未知信道信息时不再服从高斯分布。针对第一个问题,提出了一种可取得满分集、满速率以及速率-分集折中率的分布式空时编码方案。该编码方案适用于任意大小的中继网络和任意的调制方案。本文给出了编码准则、解码算法,错误概率上界,速率-分集折中以及最优的功率分配方案。实验证明提出的分布式空时编码优于其他已有的编码方案,并且能够灵活地在速率和分集上进行互换。在噪声传递环境中,提出了双训练序列信道估计模式。该模式通过两个训练序列将非高斯噪声环境下的信道估计问题转化为两个高斯噪声环境下的信道估计问题。给出了最优的训练序列设计准则和最优功率分配方案。实验证明基于此估计模式的接收机与理想接收机的性能非常接近,且估计性能远优于已知的信道估计算法。基于DmF方式的分布式空时中继系统的关键问题是中继解调错误会导致系统分集增益剧烈下降。针对错误传递问题,提出了两种基于信噪比门限的中继选择模式——集中式中继选择模式和分布式中继选择模式。在集中式中继选择模式中,定义了一个能有效衡量系统性能的指示函数——信号错误噪声功率比。集中式中继选择模式的目标就是最大化信号错误噪声功率比。为了减少系统负担,又提出了最小化等效中继信道错误概率的分布式中继选择模式。证明了通过中继选择可以提高系统的分集增益。实验证明提出的中继选择模式可以有效的抑制错误传递,并且集中式选择模式略优于分布式选择模式,但是前者需要较大计算量。本文指出的分布式空时中继系统的关键问题对于协作通信技术的发展和研究有一定的指导意义。文中提出的方案能有效改进分布式空时中继系统的性能。