协同中继作为一种可以提升通信可靠性、扩大服务覆盖范围以及提高资源利用效率的技术被广泛应用于各种无线通信系统中,其基本思想是将网络中分布的中继节点通过协同合作的方式构成一个大的虚拟多天系统来辅助用户到目的地的通信。为了最大程度地发挥协同中继的优势,将其与波束成形相结合又产生了协同波束成形技术。协同波束成形的出现进一步改善了协同中继传输的性能,成为近年来的研究热点之一。然而,关于协同波束成形的研究主要集中在单簇中继网络场景,对于多簇中继网络场景的研究并不充分。因此,本文主要围绕多簇协同中继网络场景下的协同波束成形设计展开研究。本文首先介绍了协同中继传输的相关理论基础,其中详细阐述了中继的工作模式、现有的中继转发协议以及协同中继网络模型的基本类型,归纳整理了波束成形技术的基本原理,并对协同波束成形设计中的常用的系统指标进行了分析。其次,针对基于放大转发（Amplify-and-Forward,AF）的多簇协同中继网络,本文研究了中继非交叠分簇、中继的协同波束成形与基站（Base Station,BS）的接收波束成形的联合设计,旨在保障用户设备之间的公平性并降低全中继协同合作的成本。具体地,结合中继非交叠分簇规则,本文设计了一个基于信干噪比（Signal-to-Interference-plus-Noise Ratio,SINR）的最大最小公平性（Max-Min Fairness,MMF）问题,并根据约束在优化变量间的可分离性提出了一种基于块坐标下降（Block Coordinate Descent,BCD）的联合优化算法。该算法的基本思想是通过交替的方式迭代优化各变量,从而使产生的每个子问题都得到有效的解决。仿真结果表明了基于BCD的联合优化算法相比于基准方案的有效性。最后,为了应对非交叠分簇方案的局限性,本文进一步研究了基于译码转发（Decodeand-Forward,DF）的多簇协同中继网络场景下的交叠分簇方案,通过中继交叠分簇与波束成形的联合设计来最大化每中继功率约束下网络中最小的SINR。具体地,本文设计了一个考虑中继交叠分簇的MMF问题,同时为了规避该问题中所涉及的隐式整数规划,使用了相关的近似方法来处理这个非凸问题,接着提出了一种基于稀疏波束成形的两级优化算法来解决松弛后的问题,从而逼近原问题的局部最优解。仿真结果表明,该算法相比于基准方案能够取得更优的性能,且该交叠分簇方案相较于非交叠分簇方案能够更好地适应用户数较多的应用场景。