在过去二十多年里,移动通信技术经历了飞跃式发展,给人们的生产和生活带来了极大方便。然而,随着当前移动数据流量的指数级增长,4G网络已经无法满足持续增长的用户体验需求。面向5G的异构网络通过在传统的宏蜂窝上部署大量的低功率接入点有效提高了网络的频谱效率、覆盖概率等性能,同时减轻了宏蜂窝负载,降低了投资成本,被认为是应对网络流量爆发式增长的关键技术之一。与此同时,随着超级计算机、量子计算机等高性能计算设备运算能力的极大改善,传统的应用层加密算法面临着极其严峻的挑战。而物理层安全技术可以通过有效利用信道的物理特性提供不依赖于计算复杂度的“绝对安全”,是增强未来5G网络安全的重要手段。为此,本论文主要针对5G异构网络的实现方案及其物理层安全问题进行研究。主要研究工作如下:首先,在大规模MIMO蜂窝与D2D双层异构网络中,提出了一种无线能量获取方案,D2D用户终端(D2D user equipment,DUE)不仅可以从蜂窝网用户终端(cellular user equipment,CUE)附近的射频(radio frequency,RF)干扰信号中获取能量,而且还可以从专用能量塔(power beacon,PB)的RF信号中获取能量。此外,给出了一种物理层安全方案,将PB发射的RF信号作为一种人工噪声,DUE和CUE已知PB发射的信号,而窃听者未知。对此,论文研究了系统的能量效率和物理层安全性能,得到了DUE获取足够能量的概率下界,以及CUE和DUE的各态历经速率和安全中断概率。研究表明,收集PB和CUE附近的RF信号可以显著改善DUE能量效率,同时将PB发射的RF信号作为一种人工噪声可以改善网络的物理层安全性能。其次,虽然上述方案可以提高网络的安全性能,但没有考虑异构网络的回程传输问题。为此,论文进一步结合带内回程全双工技术,提出了一种异构网络物理层安全实现方案,即考虑将带内无线回程传输信号作为宏蜂窝下行和小蜂窝上行传输的干扰信号。小蜂窝部署于传统的宏蜂窝之上并与其共享系统接入频带资源,大规模MIMO宏蜂窝基站和单天线小蜂窝基站工作在带内-全双工回程模式。对此,论文分别研究了宏蜂窝下行和小蜂窝上行链路的物理层安全性能。结果表明,当用户终端的强度相对较小,利用带内回程干扰可以有效提高宏蜂窝和小蜂窝传输的安全概率,且带内-全双工模式优于带外-全双工模式。除此以外,论文还分别就宏蜂窝下行和小蜂窝上行的覆盖概率进行研究,发现由于受到回程干扰的影响,带内回程削弱了异构网络的覆盖性能。最后,考虑到中继技术可以解决D2D网络覆盖范围限制的问题,论文采用中继网络代替D2D网络,设计和研究了基于中继的多层异构网络,提出了一种最小-最大用户对级联(min-max user pair association,MM-UPA)方案。首先,中继广播信号到每层网络的信源和信宿;其次,信源和信宿分别估计中继的接收信号强度;最后,用户对选择最大接收信号强度的中继进行级联。不同于传统单跳网络的用户级联,MM-UPA准则充分考虑了信源-中继和中继-信宿两跳链路增益。对此,论文研究了异构网络的用户级联概率,同时还研究了MM-UPA方案下系统的中断概率和安全概率。研究发现,信源的发射功率和偏置因子对各层用户级联概率产生不同的影响。单跳网络拥有更低的中断概率,更高的系统稳定性。此外,随着第二层网络中继和信源发射功率比的增大,整个网络安全概率逐渐增大。