随着移动互联网日渐成为未来网络发展的方向,移动终端在接入互联网时将优先选择已经广泛部署的移动通信网络,使得用户大量涌入无线通信系统获得数据流量。另外,相关研究表明未来60%~80%的移动数据业务的场景发生改变。越来越多的用户选择在室内使用移动数据业务,并且大量用户聚集的公共场所也将形成热点区域。传统的蜂窝网络架构并不能适应这种应用场景的新变化,必须引入新型网络架构以满足用户需求。第三代合作伙伴计划(3rd Generation Partnership Project,3GPP)在长期演进增强版(Long Term Evolution-Advanced,LTE-Advanced)系统中加入了多种低功率节点。而这种新型的网络架构被称为异构网络。而由于异构网络复杂的拓扑特征,不可避免地带来严重的层间干扰问题。通过节点间信息的协调交互可以有效的减少以上的干扰问题。另外,低功率节点的引入导致异构网络节点密集分布,这为节点间的协作通信提供可能。综上,协作通信是异构网络提高系统性能的重要手段。本文首先介绍了LTE-Advanced系统、异构网络部署方案及传统的协作通信技术。然后基于LTE-Advanced系统中宏(Macro)基站和微微(Pico)基站共存的异构网络,本文中提出了一种资源块级别的跨层协作传输机制。此协作传输机制采用相干传输预编码技术,能够使得多个协作用户在同一个资源块上接受协作簇中多个协作基站的服务以减少层间干扰。基于上述的跨层协作传输框架,本文还提出了一种协作资源块分配策略,实现Macro基站和Pico基站的协作无线资源控制。为验证上述的跨层协作传输技术,研究中搭建了基于LTE-Advanced的异构网络系统级仿真平台。并且通过对异构网络系统性能的仿真,表明所提出的协作传输机制在系统吞吐量性能方面优于3GPP标准化的的小区间干扰协调增强技术。最后,为适应更高系统容量和频谱效率的5G网络的无线接入技术,根据非正交多址技术(Non-Orthogonal Multiple Access,NOMA)原理,提出了结合NOMA的异构网络协作通信机制,以解决异构网络中小区范围扩展区域内的层间干扰问题。在此异构网络协作通信系统的基础上,采用了宏基站和低功率基站间的协作用户调度和协作功率分配机制。经过系统级仿真验证,采用此协作通信技术可以得到显著的系统吞吐量性能增益。