卫星通信具有覆盖范围广、通信容量大、不受地理条件限制等优点,将在下一代移动通信系统中发挥着越来越重要的作用。然而,卫星通信的广域覆盖特性使得信息传输中的安全问题面临着严重的挑战。作为物理层安全的一种重要手段,波束成形（Beamforming,BF）能够增强合法用户通信质量的同时显著降低窃听者的接收功率,从而引起了业界的广泛关注。论文对卫星通信系统中基于波束成形的物理层安全技术进行了研究,主要工作总结如下:（1）针对窃听者信道状态信息（Channel State Information,CSI）准确已知和存在误差两种情况,提出了多播传输模式下的卫星通信安全波束成形算法。首先,针对存在多个窃听者的卫星多播传输系统,构建了安全速率约束条件下的发射功率最小化问题。接着假设合法用户和窃听者CSI均已知的条件下,提出了半正定规划和罚函数相结合的波束成形方法。更进一步,在窃听者CSI存在误差的条件下,还提出了一种基于迭代的鲁棒安全BF算法。仿真结果表明,所提出的两种安全BF算法均能够有效提升多波束卫星通信下行链路的物理层安全性能。（2）针对仅已知窃听者大致位置的情况,提出了单播传输模式下卫星通信鲁棒安全波束成形算法。首先,在非合作窃听场景下建立合法用户安全速率最大化为目标函数,且单天线发射功率受限为约束的优化问题。接着,应用log-sum-exp函数对目标函数进行近似并且结合Dinkelbach和非凸交替方向乘子法（Alternating Direction Method of Multipliers,ADMM）算法对该问题进行迭代求解,获得鲁棒安全BF算法。进一步将该算法推广到合作窃听场景。最后,仿真结果表明所提鲁棒安全BF算法优于传统最大比发射（Maximum Ratio Transmission,MRT）算法和非鲁棒安全BF算法。（3）在仅已知窃听者大致位置的条件下,提出了基于层分多址（Layered division multiplexing,LDM）传输的卫星通信鲁棒安全波束成形算法。首先,针对存在多个窃听者的卫星通信LDM传输系统,分别推导出合法用户单播和多播传输下的安全速率表达式。接着,构建了安全速率约束下的发射功率最小化问题,并进一步在仅已知窃听者大致位置的条件下,通过对非凸的约束条件进行近似和凸约束转化,提出了一种基于连续凸逼近（Successive Convex Approximation,SCA）的鲁棒安全BF算法。最后,仿真结果验证了所提鲁棒安全BF算法的有效性和优越性。