卫星通信系统具有全球无缝覆盖、通信容量大、建设成本与通信距离无关等特点,被广泛应用在医疗、救灾、航空、国防等场景中,是国家空天地一体化战略的重要组成部分。由于信号的广播特性,卫星通信系统的通信过程易遭受窃听者的威胁,导致卫星通信系统面临严峻的安全威胁。与传统地面通信相似,卫星通信的安全传输通常依赖于基于计算复杂度的密码学安全机制。然而,随着窃听者计算能力的提升,密码学机制存在潜在的安全漏洞,仅依赖密码学机制难以满足卫星通信系统的安全需求。物理层安全技术利用信道的差异化特性,从信息论角度实现了安全传输,已被研究者们视为是密码学机制的有效补充。卫星通信系统安全传输性能分析模型和方法是卫星通信系统安全技术的基本理论支撑。当前已有众多学者从物理层安全角度出发,针对多种不同卫星通信系统建立了安全传输模型并开展了安全性能分析。然而,现有的安全性能分析模型和方法存在以下局限性:（1）现有研究主要针对卫星通信系统上行链路中地面窃听基站对系统的安全威胁,忽略了窃听卫星威胁下的安全传输问题;（2）现有研究主要针对卫星通信系统下行链路中地球静止轨道卫星研究,相关结论不适用于中/低轨道卫星通信系统的安全传输;（3）现有研究主要聚焦于由卫星向地面基站发送信号的过程,缺乏针对以卫星为转发中继的相关卫星通信系统安全传输分析模型和方法。针对以上现有工作的局限性,本文分别研究了卫星通信系统上行链路、下行链路以及中继卫星通信系统的物理层安全问题,提出了对应的安全性能分析模型和方法,量化了安全容量、遍历安全容量、安全中断概率、截获概率等安全性能指标。本文主要工作和贡献归纳如下:（1）针对窃听卫星威胁场景下卫星通信系统上行链路的物理层安全问题,构建了窃听卫星和地面窃听基站共存的卫星通信系统安全性能分析框架,基于瑞利衰落信道和Shadowed-Rician衰落信道分别建立了两种安全传输模型;考虑窃听者可采取非共谋策略进行独立窃听或采取共谋策略进行联合窃听的可能性,分别推导出了两种窃听策略下对应卫星通信系统的遍历安全容量、非零安全容量概率、安全中断概率的解析表达式,量化了安全性能。通过仿真验证了所提安全性能分析框架和安全传输模型的有效性。（2）针对中/低轨道卫星通信系统等非对地静止轨道卫星通信系统的下行链路安全传输问题,提出了基于卫星轨道信息的非对地静止轨道卫星通信系统安全传输模型,并结合国际电信联盟的雨水衰落模型,分析了系统下行链路的安全容量和截获概率,给出了实时量化非对地静止轨道卫星通信系统安全性能的方法;基于卫星CFESAT实际轨道信息进行大量仿真实验,分析了系统安全性能随卫星绕地飞行、降水量、气候异常程度等的变化情况,仿真结果表明,提出的安全传输模型可用于初步评估或预测任意时刻卫星通信系统的安全性能,还指出“人工降雨”等气候干预手段也有助于提高卫星通信系统的安全性能。（3）针对中继卫星通信系统安全传输问题,建立了窃听卫星和地面窃听基站共存情况时中继卫星通信系统安全传输模型,在中继卫星采取放大转发模式协助地面合法基站通信的情况下,给出了安全中断概率和连接中断概率性能等指标的闭合表达式,量化了中继卫星通信系统的安全性能和通信质量;在此基础上构建了安全中断概率约束下连接中断概率最小化问题,以及连接中断概率约束下安全中断概率最小化问题,分析了系统安全性能和通信质量间的折中问题,提出了基于搜索算法的功率发送方案;在近似高信噪比环境中对相关性能指标进行渐进分析,给出了安全中断概率和连接中断概率近似表达式,基于此简化了功率发送方案;通过仿真验证了提出的安全传输模型、功率发送方案的正确性,结果表明基于渐进最优解提出的功率发送方案可有效逼近系统的实际最优性能。本文相关成果围绕卫星通信系统不同应用场景的物理层安全问题展开,以安全容量、遍历安全容量、非零安全容量概率、安全中断概率、截获概率等为安全性能指标,从理论上分别针对卫星通信系统上行链路、下行链路以及中继卫星通信系统的安全传输性能进行了分析,为天地一体化信息网络中的卫星通信系统的安全部署和实现提供了理论基础。