为了解决由各种无线设备(例如,智能电话、平板电脑和笔记本电脑等)产生的数据流量的爆炸性增长问题,异构网络(Heterogeneous Network,HetNet)正在成为增强系统容量和覆盖范围以保证用户服务质量的有效手段。HetNet通常由各种宏蜂窝、小蜂窝(例如,微蜂窝、微微蜂窝和毫微蜂窝等)、中继站以及分布式天线等异构设备组成。宏蜂窝基站和上述异构设备在相同的频带上同时发送它们各自的机密消息,这将显著提高频谱效率。但是,一方面,由于各种异构设备同时访问相同的频带,它们之间可能存在相互干扰。另一方面,由于无线通信的广播性质和HetNet的开放系统架构,传输给合法用户的机密消息更易受到窃听攻击。因此,研究HetNet的安全可靠传输有重要意义。本文以升无线传输的安全可靠性能为目的,研究了异构蜂窝无线网络的物理层安全关键技术。本文的主要工作和创新点归纳如下:首先,研究了包含有单源节点、单目标节点和单窃听节点的异构无线通信场景,其中,源节点、目标节点和窃听节点都配备多个异构无线电接入接口。为了增强系统的安全性能,提出一种多无线电协作(Multi-Radio Cooperation,MRC)方案。在MRC方案中,同时利用源节点上的多个无线接口将加权的源信号发送到目标节点。为了便于性能比较,传统的多无线电切换(Multi-Radio Switch,MRS)也被考虑作为一个基准方案。在MRS方案中,源节点只选择单一的“最佳”无线电接口来发送源信号。本文在瑞利衰落信道下,评估了传统MRS和所提出的MRC方案的的安全容量和窃听概率。此外,理论证明了所提出的MRC方案能够实现窃听概率为零。数值结果表明,所提出的MRC方案在安全容量和窃听概率性能方面优于传统的MRS方案。其次,探讨了一种由单宏蜂窝和单小蜂窝构成的异构蜂窝网络的物理层安全性,其中,存在一个被动的窃听者试图窃听宏蜂窝和小蜂窝信息传输。对于此异构蜂窝网络,考虑了两种多址接入形式:正交多址(Orthogonal Multiple Access,OMA)和非正交多址(Non-Orthogonal Multiple Access,NOMA)。提出了两种NOMA方案,即干扰受限NOMA(Interference-Limited NOMA,IL-NOMA)和干扰消除NOMA(Interference-Canceled NOMA,IC-NOMA)。为了便于性能比较,本文也描述了OMA方案。在IL-NOMA方案中,通过功率控制将相互干扰限制在允许的范围内。而在IC-NOMA方案中,利用了精心设计的信号,在干扰被动窃听器的同时,消除干扰信号。此外,推导了IL-NOMA、IC-NOMA和OMA方案的总体窃听概率的闭合表达式。通过高信噪比区域的渐近安全性能分析,进一步刻画了IL-NOMA、IC-NOMA和OMA方案的安全分集度。结果表明,OMA和IL-NOMA方法获得的安全分集仅为零,而IC-NOMA方案获得了较高的安全分集增益。最后,研究了由宏蜂窝和小蜂窝组成的频谱共享异构蜂窝网络的物理层安全性,并且假设一个被动窃听器同时窃听宏蜂窝和小蜂窝的传输。在宏蜂窝中,装备有多个分布式天线的宏基站通过分布式天线向宏用户发送其机密信息。同时,在小蜂窝中,通过使用与宏基站相同的频谱,小基站直接向小用户发送信息。为了增强异构网络的物理层安全性,提出了干扰消除机会天线选择(Interference-Canceled Opportunistic Antenna Selection,IC-OAS)方案。具体地说,当宏基站通过机会分布式天线向宏用户发送其保密消息时,人工设计一个特殊的信号并在宏基站发射,以确保从小基站接收的干扰信号能在宏用户处被抵消掉。为了方便比较,传统的干扰受限机会天线选择(Interference-Limited Opportunistic Antenna Selection,IL-OAS)被作为基准。通过推导窃听概率和中断概率的闭合表达式,刻画了所提出的IC-OAS方案和传统的IL-OAS方案的安全-可靠性折中(Security-Reliability Tradeoff,SRT)。仿真结果表明,与传统的IL-OAS方案相比,所提出的IC-OAS方案不仅给宏蜂窝带来了SRT优势,而且通过增加分布式天线的数量,具有改善小蜂窝SRT的潜力。