人们对于随时随地进行信息获取和交换的需求,促使了无线通信技术地飞速发展,使得通信安全问题在信息传输和交互过程中变得尤为重要。异构网络和大规模天线在增加网络覆盖率、提高网络吞吐量、提高频谱利用率和可靠性、降低干扰等方面所展现出来的优势,一直是学术界和工业界的研究热点。同时为了获得更大的覆盖范围和更高的数据传输速率,越来越多的领域开始使用协作中继通信技术。随着不同的无线通信系统在不同场景中的应用逐渐增多,安全性和可靠性成为任何一个无线通信系统都不可忽视的问题。基于以上背景,本文针对多场景下无线通信系统的物理层安全进行了研究。首先,本文对异构网络和大规模天线在物理层安全方面的优势进行了分析与总结,具体研究了异构大规模天线场景下下行传输的物理层安全。首先分析了大规模天线对基于最大接收功率的用户接入的影响,随后推导出此异构网络中用户保密中断概率的上限。仿真结果证明大规模天线的应用可以很大程度地提高宏小区用户的保密中断概率,异构大规模天线的结合对提高系统安全性具有很大的影响。其次,本文研究了异构中继场景的物理层安全,主要针对基于D2D协作的异构单中继场景和异构多中继场景进行具体的策略和性能分析。具体内容如下:1.本文研究了基于D2D协作的异构单中继场景的物理层安全,提出了一个基于两次协作干扰的安全传输策略。利用基站作为干扰设备,在传输过程的两个阶段中分别发送不同的人工噪声来干扰窃听,有效地提高系统的保密容量。2.本文研究了异构多中继场景的物理层安全,提出了一个基于协作波束成形和人工噪声的安全传输策略。干扰节点可在第一个传输阶段发送人工噪声,而中继节点在第二个传输阶段利用波束成形进行信息转发,以此来保护整个传输过程,仿真结果证实了此安全策略可以有效地提高系统的安全性能。