随着智能化设备与数字化生活的不断发展,追求单小区覆盖大区域的传统同构蜂窝网已经越来越难以承载不断增长的多样化无线数据业务需求。通过层叠部署多样化蜂窝小区以提升网络容量与资源利用率的异构蜂窝网,正逐渐成为当前无线网络发展演进的方向。然而,随着计算技术的进步与无线数据价值的增长,单纯依靠基于计算复杂度的上层密钥加密方式,难以充分应对未来异构蜂窝网所面临的多样化安全威胁。近年来兴起的物理层安全技术,能够在一定程度上弥补上层密钥技术在应对未来异构蜂窝网安全挑战中所存在的局限性。受此驱动,本文致力于推进并完善目前才刚刚起步的异构蜂窝网物理层安全研究。针对异构蜂窝网节点类型多样、节点数量庞大、多源干扰复杂、网络拓扑结构动态随机变化等特点,结合未来移动通信对于高速率、私密性和经济性等多方面的需求,从物理层安全角度研究利用波束成形、人工噪声、协作传输等技术提升异构蜂窝网的安全传输性能,为未来异构蜂窝网的设计及部署运营提供数学分析框架及理论指导。本文的主要研究内容及成果概括如下:1.针对异构蜂窝网系统组织结构多样化、复杂化导致物理层安全性能分析难度大的问题,基于随机几何提出了多层异构蜂窝网物理层安全基本系统模型,在此基础上,分别基于泊松点过程、长期平均接收信号功率和泊松簇过程构建了常规异构蜂窝网、正交频谱分配异构蜂窝网和密集异构蜂窝网的物理层安全性能分析框架。并分析了接入策略、安全速率门限值、窃听者密度和基站部署密集程度等要素对于异构蜂窝网安全性能的影响。结合理论分析及仿真结果,提出了面向安全且兼顾经济效率的异构蜂窝网密集部署指导策略。2.针对异构蜂窝网中单一节点安全保障能力有限、整体网络安全潜力有待挖掘的问题,基于上述理论模型,就异构蜂窝网中基于波束成形与人工噪声的协作安全传输性能展开深入分析,刻画了协作基站类型、协作基站是否具备完全信道状态信息、协作传输与协作干扰功率分配比例、人工噪声功率分配比例等因素与异构蜂窝网安全传输性能间的关系,并以此为基础,针对不同场景给出了相应条件下的异构蜂窝网协作安全传输指导策略。3.针对异构蜂窝网在追求安全性能提升与节能降耗间矛盾不易调和的问题,就异构蜂窝网中安全频谱效率及安全能量效率的相关特性进行研究分析。充分考虑大规模天线技术的运用以及窃听者联合窃听等因素所带来的影响,提出了一种多层大规模天线异构蜂窝网中安全频谱效率与安全能量效率的评估方法。刻画了宏基站发射天线数、宏基站同时服务的用户数、人工噪声功率分配比例等参数与安全频谱效率及安全能量效率间的关系,并进一步对大规模天线异构蜂窝网中的安全频谱效率与安全能量效率进行了折衷分析。