随着移动设备的数量以及无线网络应用的爆炸式增长,移动通信网络正朝着高速率、高效率、高质量的下一代通信网络技术(5G)演进。在面向5G通信的演进过程中,D2D(Device-to-Device,D2D)、全双工、小基站可以在蜂窝网络中复用蜂窝频谱资源、密集化网络中通信链路,从而提升通信速率和网络容量,提高频谱效率。本文在已有的异构蜂窝网络的基础上引入D2D和全双工通信技术,分析蜂窝网络中存在多种不同通信模式时的通信性能,并根据分析结果研究通信模式选择和频谱划分对系统通信性能的提升。本文研究的主要内容如下:1.基于随机几何的通信性能分析。使用泊松点过程建立一个支持D2D、全双工以及多层异构的单信道蜂窝网络模型,分析通信设备在不同通信模式下的通信性能。对通信设备考虑基于距离的动态功率控制,并进行干扰分析,得出不同通信模式下的SINR值。最后基于SINR值给出覆盖概率与通信速率的闭合表达式。2.基于性能分析的通信模式选择和频谱资源划分。在第一步工作的基础上,使用泊松点过程建立一个支持D2D、全双工以及多层异构的多信道蜂窝网络模型。首先,将蜂窝网络中的通信模式划分为蜂窝模式(包括MBS蜂窝模式和SBS蜂窝模式)、D2D复用模式以及D2D专用模式。然后,对于蜂窝网络中的通信用户设计基于距离和基于偏移值的通信模式选择机制。最后,分析频谱划分对系统通信性能的提升,并给出最优频谱划分。综上,本文主要研究了支持D2D、全双工以及多层异构的蜂窝网络的通信性能分析、模式选择以及资源分配等问题。仿真实验结果表明,在蜂窝网络中引入D2D、全双工以及小基站等通信技术可以提升蜂窝网络通信性能、提高频谱利用效率。