自由空间光学(FSO)系统由于能够提供较宽的带宽,可以支持更多用户,且具有成本效益,被视为射频(RF)系统的候选技术。然而,由于受到大气湍流引起的衰落和路径损耗的影响,会大大降低系统性能。为了解决这些缺点,一种中继辅助的FSO系统被提出,并在大量的文献中对其性能进行了广泛的研究。然而,这些分析结果适用于对称的信道条件,其中每一跳的链路都经历类似的信道衰落,在实际应用中,当每一跳上的信号通过不同的通信系统或物理上不同的路径传输时,每一跳都可能遭受不同或不对称的通信环境。因此,一种基于RF和FSO特性的混合RF/FSO系统已经被提出。由于RF通信系统可以通过使用无线信道的随机性和时变性来实现完美的保密通信,使各种信道模型上不同RF系统结构的保密性能得到了广泛研究。但是很少有与FSO系统的物理层安全相关的工作,因此本论文主要研究混合RF/FSO通信系统的物理层安全,更具体地说,因为光链路具有高安全性,我们假设窃听只发生在RF链路上,并且假设所有RF信道都遭受η-μ衰落,而FSO链路遭受M分布衰落,然后得出了一系列安全速率(ASR)和安全中断概率(SOP)的分析结果。根据所研究的内容,本文的主要工作如下:在本文中,采用混合RF/FSO通信系统,并且假设存在一个窃听者可以窃听到RF链路上的信息,因为光束具有高方向性所以FSO链路是很安全的,所以不考虑FSO链路上存在窃听。为了具有一般性在本文中假设所有的RF链路和FSO链路分别遭受η-μ衰落和M衰落。其中η-μ分布能够准确地模拟与非视距情景相关的信号的小尺度衰落的特征,并且包括Hoyt和Nakagami-m衰落作为特殊情况。M分布适用于所有强度的湍流条件,并且能够在某些条件下转换成GG和K分布。另外由于变增益中继需要考虑第一条链路的瞬时信道状态信息,而固定增益继电器不需要,并且固定增益继电器结构简单、容易部署,但变增益在理论上性能更好,因此本文分别考虑采用这两种中继的系统的安全性能。推导出了中继分别在固定增益和变增益条件下系统联合分布的累积分布函数(CDF)的封闭表达式。然后对系统的物理层安全性能做进一步分析,得出了中继在固定增益条件下系统的安全中断概率的下限渐进表达式和安全速率的封闭表达式,以及中继在变增益条件下系统的安全中断概率的下限渐进表达式和安全速率的封闭表达式。并对这些表达式在不同的参数条件下进行了一系列的仿真分析。