密集异构蜂窝网的广播特性使其面临被窃听的安全问题,物理层安全(Physical Layer Security,PLS)技术利用无线信道的唯一性、互易性等“指纹特性”来保障密集异构蜂窝网的安全通信。准确的信道状态信息(Channel State Information,CSI)是保证其安全通信的重要前提。实际中,密集异构蜂窝网节点非计划性部署和系统干扰复杂等特性,易导致信道估计非理想的问题。此外,信道估计算法的局限性、节点处理能力的差异性以及实际通信环境的不确定性等诸多因素也易导致信道估计不理想,影响物理层安全传输方案的设计。受限于网络动态变化的拓扑结构,传统网络中针对非理想CSI设计的安全传输方案无法直接应用于密集异构蜂窝网。具体来讲,针对非理想情况下密集异构蜂窝网的物理层安全研究,目前有以下问题亟需解决:1)缺乏理论研究的物理层安全分析框架;2)现有集中式多入单出(Multiple-input Single-output,MISO)网络中的物理层安全传输方案无法直接应用于密集异构蜂窝网。3)现有分布式协作网络中的物理层安全传输方案无法直接应用于密集异构蜂窝网。针对上述问题,本文考虑密集异构蜂窝网节点非计划性部署带来的网络拓扑动态变化,首先,建立了非理想情况下密集异构蜂窝网的安全分析框架;在此基础上,针对密集异构蜂窝网的集中式MISO网络和分布式协作网络,分别设计了非理想情况下基于人工噪声和多点协作传输(Coordinated Multipoint,CoMP)的安全传输方案。本文具体的研究内容及成果概括如下:1、建立了非理想情况下密集异构蜂窝网物理层安全分析框架。针对密集异构蜂窝网动态变化的拓扑结构,应用随机几何建模网络节点位置,在此基础上结合传统信道估计误差模型,给出实际信道与估计信道的关系。以安全中断概率为评价指标,推导了K层密集异构蜂窝网的安全中断概率对系统安全性能进行评估;分析了信道估计精度、微基站分布密度、窃听者密度、中断门限以及基站天线数量等系统参数对系统安全性能的影响;最后通过仿真验证了理论推导的正确性。2、针对密集异构蜂窝网集中式MISO网络,设计了信道估计误差条件下基于人工噪声的物理层安全传输方案,并给出了最大化系统安全吞吐量的功率优化算法。在拓扑结构随机变化的网络中应用人工噪声对窃听者进行干扰,同时考虑系统干扰以及估计误差的影响,通过设计不同信道估计情况下的人工噪声功率分配因子,提升系统安全吞吐量以保障安全可靠通信。在满足用户安全性和可靠性需求的条件下,给出了最大化系统安全吞吐量的发射功率优化模型,并应用K维联合搜索算法对每层网络的最优功率分配因子进行搜索。仿真结果表明,人工噪声方案可使系统的安全吞吐量提升约15%。3、针对密集异构蜂窝网分布式协作网络,提出了一种基于双门限优化的CoMP传输方案,并给出了最大化系统安全吞吐量的双门限优化算法。方案核心思想为协作基站的筛选,即仅允许信道状态好的基站参与CoMP协作。通过设计备选基站方案以及CoMP组网方案,选择符合安全可靠性需求的基站参与CoMP协作传输,减小信道估计误差对系统安全可靠性能的影响。在用户安全性和可靠性需求的约束条件下,给出了最大化系统安全吞吐量的双门限优化算法,并应用二维联合搜索算法对最优的双门限进行搜索。仿真结果表明,所提CoMP传输方案可使系统的安全吞吐量提升0.13 bit/s/Hz。