近年来,智能手机和移动服务呈指数级增长,传统的蜂窝网络已经不能满足需求。为了提高频谱资源利用率和系统的能效,满足用户服务质量要求,学术界和工业界从网络架构出发,提出了双层异构蜂窝网络的框架,即在传统宏蜂窝中引入低发射功率的小型基站,对热点区域进行重叠覆盖。随着异构蜂窝网络研究的不断深入,如何进一步提高系统能力成为异构蜂窝网络研究中的新问题。考虑全双工通信技术在提升频谱效率上的优势,全双工通信技术被引入异构蜂窝网络中,使无线设备可以在同一频段上同时进行数据收发。除此之外,随着第五代移动通信技术的发展和硬件能力的提升,利用非正交多址技术进一步提升系统的频谱效率成为可能。本文针对基于非正交多址技术和全双工通信技术的双层异构网络,在信道增益信息不确定的情况下,进行了无线通信资源优化分配的研究。首先,针对非正交多址的双层异构网络,考虑信道的不确定性,我们提出了对宏基站和小基站进行联合功率控制的方案。针对宏基站用户和小基站用户不同的服务需求,同时为了有效抑制跨层干扰,实现低功率传输,提出一种分层的功率控制博弈框架。仿真结果表明,基于分层博弈的功率控制算法能有效保证用户的服务质量,并且具有良好的鲁棒性能。其次,提出了一种解决非正交多址的双层异构网络中用户关联和功率控制问题的方法。采用概率约束的形式来描述实际通信环境中的信道不确定性。为了最大限度地提高系统的总能量效率,减少小区内和小区间干扰,在非正交多址网络中结合不确定信道增益建立联合优化问题。提出了一种简单的分布式用户关联算法,用于确定用户关联。利用积分变换,连续凸逼近方法实现问题转化,给出功率控制算法。仿真结果表明,该联合分配算法在动态通信环境下具有良好的鲁棒性和有效性。最后,研究了双层Femtocell网络中全双工通信的功率控制问题,其中Femtocell与宏基站上行链路共享同一频率。考虑实际通信环境中信道的不确定性和用户间的跨层和同层干扰,以提高用户服务质量和降低功耗为目标,提出了一种分层的功率分配博弈框架,实现上行链路和下行链路用户的效用最大化。根据不同的设计目标,上行链路保证了边际效用和系统误码率,下行链路保证了传输速率和时延。采用拉格朗日法和次梯度法分别求解优化问题,给出了实现博弈均衡的功率迭代算法。仿真结果表明,该算法在收敛性、鲁棒性和服务质量方面具有较好的性能。