作为未来5G网络部署的重要形态之一,异构蜂窝网通过在宏基站的覆盖区域内合理部署低功率的微基站和微微基站,可以显著提升频谱利用率与网络容量。然而,无线信道的广播性导致异构蜂窝网络很容易受到恶意节点的攻击或窃听。近些年兴起的物理层安全技术利用无线信道特性解决信息传输安全问题,可在无线传输过程中构建网络的安全体系。然而,异构蜂窝网中节点的大规模化、拓扑结构的随机化,给物理层安全技术的研究与应用带来了新的挑战。具体来讲,目前还有以下问题亟需解决:（1）异构蜂窝网中层内和层间干扰复杂,利用网络已有干扰提升安全性考虑不足;（2）异构蜂窝网中多点协作使非法窃听者和协作基站之间的平均距离变近,安全性受限于距离协作基站较近的窃听者;（3）异构蜂窝网中节点大规模化,能耗问题严重,现有物理层安全算法未考虑安全性能提升与节能降耗的双重需求。针对上述问题,本文从物理层安全角度出发,利用多点协作、人工噪声和中继等技术,设计相应的物理层安全技术保证异构蜂窝网信息传输安全。首先,针对异构蜂窝网干扰复杂、网络已有干扰对安全性提升考虑不足的问题,提出一种基于业务动态化的物理层安全干扰协调机制。其次,提出一种基于安全保护域的增强型多点协作传输机制。最后,在提升网络安全性的基础上进一步考虑能耗问题,提出一种综合评估异构蜂窝网安全频谱效率和安全能量效率的理论框架。主要研究内容及成果概括如下:（1）针对异构蜂窝网中层内和层间干扰复杂,利用网络已有干扰提升安全性考虑不足的问题,提出一种基于业务动态化的物理层安全干扰协调机制。首先,建立了综合考虑基站在二维空间维度随机性和用户到达、离开过程在时间维度随机性的三维空时模型,并通过该模型对网络中动态变化的业务进行刻画。其次,根据动态变化的业务调度网络中已有的干扰,实现对用户干扰最小且对窃听者干扰最大,增大合法信道相对窃听信道的优势。理论及仿真表明,通过优化用户到达速率可以协调各层网络的干扰,提升网络安全性。（2）针对异构蜂窝网中多点协作使非法窃听者和协作基站之间的平均距离变近,安全性受限于距离协作基站较近窃听者的问题,提出一种基于安全保护域的增强型多点协作传输机制。通过判断协作基站附近窃听者的有无,选择性地采取不同的传输策略:存在窃听者时,利用叠加编码理论,微基站协作发送信息的同时发送人工噪声,否则微基站仅协作发送信息。该策略不仅缓解了网络中干扰,而且恶化了窃听信道,进一步提升了网络安全性。理论及仿真表明,在存在较小安全威胁（窃听者密度较小）的场景下,系统安全吞吐量最大可提升76.1%。（3）针对异构蜂窝网中节点大规模化,能耗问题严重,而现有物理层安全算法未考虑安全性能提升与节能降耗双重需求的问题,提出一种综合评估异构蜂窝网安全性提升和节能降耗折衷的理论框架。以安全频谱效率和安全能量效率分别表征网络的安全性和能耗性,通过对中继节点密度进行优化改善网络安全频效和安全能效折衷。理论及仿真表明,通过优化中继的功率和密度可以改善网络安全频谱效率和安全能量效率折衷。