为了满足激增的流量需求并实现业务覆盖面积的增大,各大运营商所部署的基站数也快速增长,但也造成了相邻小区之间是密集和重叠覆盖的,这使得各小区间干扰成为制约用户性能的主要因素,因此在此场景下可以通过邻近小区之间的协作传输来满足网络中的业务量需求。另外,由于物理层传输技术的演进对业务承载能力的提升是有限的,为此本文使用新型超蜂窝网络(Hyper Cellular Network,HCN)作为研究的网络架构。因此,面向连续广域覆盖场景,本文在HCN下进行协作传输技术的研究来重点提高边缘频谱效率,研究内容主要集中在三个方面:首先,本文在泊松沃罗诺伊镶嵌(Poisson Voronoi Tessellation,PVT)模型下对HCN系统进行建模,并通过划分中心区域和边缘区域来分析不同用户的频谱效率。中心用户使用功率控制方案来优化业务基站(Traffic Base Station,TBS)的发射功率。边缘用户则采用协作传输技术和功率控制方案来提高其频谱效率。此外,TBS休眠策略也被用来进一步降低小区间干扰。然后,本文利用随机几何推导出边缘谱效率和平均谱效率的解析表达式。仿真结果表明所提出的方案对提高移动用户的频谱效率具有重要意义。其次,在小区缩放过程中,联合使用自适应负载均衡和协作传输技术以提高边缘用户的接收信号质量。对于小区缩放后的重载TBS,由控制基站(Control Base Station,CBS)控制其进行部分用户的卸载以优化用户关联,实现负载均衡。对于轻载TBS,则由CBS判断使其进入休眠状态以节约TBS能耗,并减小对活动用户的干扰。对于小区范围扩展后,信号接收质量差的边缘用户,本文采用自适应成簇的方法来应对。然后,本文推导出覆盖概率和边缘频谱效率的积分表达式。仿真结果显示此方案相较于已有的方案在边缘频谱效率上有显著的提升。最后,为了降低协作传输技术所带来的功耗以及回程开销并尽可能提高边缘频谱效率,本文基于HCN提出了联合压缩技术和协作波束成形的方案。首先选出优先调度的边缘用户集,并通过自适应成簇的方式为其选择协作TBSs。然后建立高斯量化信道来达到回程压缩的目的。由于所制定的优化问题是非凸的,本文通过连续凸近似算法和迭代最小化均方误差(Minimum Mean Square Error,MMSE)算法来得到优化的波束成形向量,实现边缘频谱效率的最大化。仿真验证了所提算法的收敛性以及系统参数对提升边缘频谱效率的影响。