随着无线通信系统的不断发展,其存在的安全威胁也在日益增长。近年来为了应对这一问题,物理层安全（Physical layer security,PLS）方法被广泛研究。然而,从隐私保护的角度来看,PLS仅能够阻止所传输的信息被解密,并不能保证传输的信号不被检测到,这引起了各界对隐蔽通信研究的关注。隐蔽通信也称为低概率检测通信,其目的是为了隐藏无线信号使得其不被窃听者发现。为了研究该问题,本文针对隐蔽通信系统提出了隐蔽波束成形设计以及鲁棒波束成形设计。此外,本文还考虑了更实际的情况,研究了基于星座点调制的隐蔽通信系统。具体内容和创新点如下:1.本文针对具有常规用户的隐蔽通信系统,研究了隐蔽波束成形设计,迫零波束成形设计,鲁棒波束成形设计。具体地,当监听者Willie的信道状态信息（Willie’s channel state information,WCSI）准确时,本文通过使用半正定松弛和二分法研究了隐蔽波束成形设计,旨在最大化隐蔽速率。为了降低计算复杂度,本文提出了具有单次迭代处理的迫零波束成形设计。对于非准确的WCSI,本文通过利用Kullback-Leibler散度的性质,基于半正定松弛和S引理的方法研究了鲁棒波束成形设计。此外,本文推导了Willie的最优决策阈值,并分析这种情况下的错误检测概率。最后,通过数值实验评估了所提出的波束成形设计的性能。2.为了在提高通信性能的基础上保证隐蔽传输,本文针对基于智能反射面（intelligent reflecting surface,IRS）的隐蔽通信系统,研究了基于IRS的隐蔽波束成形设计与鲁棒波束成形设计。具体地,本文分别针对准确以及不准确的WCSI提出波束成形设计,旨在最大化Bob的隐蔽速率。对于前者,本文利用半正定松弛的方法研究了基于连续相移和离散相移的隐蔽波束成形设计。对于后者,本文推导出Willie的最优决策阈值和错误检测概率,并研究了基于松弛、S-procedure和交替迭代方法的鲁棒波束成形设计。除此之外,通过数值实验对所提出的基于IRS的隐蔽波束成形设计和鲁棒波束成形设计的性能进行了评估。3.由于在实际通信系统中的输入信号一般是离散星座调制输入,因此本文研究了基于星座点调制的隐蔽通信系统,并提出了最优有限字母信号设计和上下界信号设计。首先本文推导了基于星座点调制的隐蔽速率表达式,提出了一种近似梯度下降投影法来获得最优概率分布去最大化隐蔽速率。为了在计算复杂度和传输性能之间达到均衡,本文通过Frank-Wolfe方法研究了基于星座点调制的上下界信号设计。经过大量的实验,结果表明就可达速率而言,优化的策略能够比现有技术方案提供显著的收益。