超密异构网络(heterogeneous ultra dense network,H-UDN)是在传统的宏基站覆盖范围内密集地部署一层小基站实现无缝覆盖,通过缩短用户与基站之间的距离来提升用户的速率,拥有着处理海量(1000倍)无线数据流量的能力,被认为是实现5G及未来网络的关键技术。然而,随着小基站数量飞速增加,小基站与宏基站之间的回程负担急剧加重,致使回程传输成为了H-UDN性能提升的瓶颈。无线回程因其灵活性和易于部署等优势受到广泛的关注。但是,无线回程会占用大量无线资源,而系统资源是有限的,因此,在H-UDN中实现高效无线回程具有重要意义。首先,小基站间的协作无线回程被提出来实现H-UDN中高效无线回程,即降低功率消耗,提升速率和能量效率(energy efficiency,EE)。协作无线回程意味着信道好的小基站会协助信道差的小基站进行无线回程传输,在此基础上,依据小基站与宏基站之间的距离,将小基站分成两组来进行协作无线回程传输。然后,在小基站分层无线回程模型中推导和分析了协作正交多址接入(cooperative orthogonal multiple access,C-OMA)无线回程的功率消耗、可达速率和EE,并得到了EE的上界和下界。仿真结果表明,C-OMA策略能够有效地提升无线回程的性能,即降低功率消耗、提升速率和EE。进而,为提升协作无线回程的EE,协作非正交多址接入(cooperative non-orthogonal multiple access,C-NOMA)策略被引入到小基站间的无线回程中,并分析了C-NOMA策略下无线回程传输功率分配和EE。仿真结果表明,在最优分层半径下,C-NOMA策略优于C-OMA策略,能够达到更高的EE。最后,通过分析C-OMA策略与C-NOMA策略的优点和不足,设计了一种联合C-OMA和C-NOMA(JCC)的策略来进一步提升小基站协作无线回程的性能。由于同时拥有着C-OMA策略和C-NOMA策略的优点,JCC策略能够实现更高效的无线回程传输。综上所述,本文提出了小基站协作无线回程来实现H-UDN中高效无线回程,并在分层模型中分析了C-OMA、C-NOMA和JCC策略下无线回程的EE,所提出的JCC能够有效地提升无线回程的EE,实现更高效的无线回程。