随着无线通信网络的高速发展,人们对无线通信传输性能的要求也越来越高。相比有线网络,无线通信网络具有很大的开放性、移动性等特点,由于其传输信道不稳定,因此更容易受到攻击者的威胁。目前,一些智能可编程的无线电设备被攻击者频繁用于攻击信息的安全传输。这些攻击者可以灵活选择其攻击类型,例如攻击者在接近发送端时可以选择窃听发送的信息,在接近接收端时可以选择发送干扰或者欺骗信号来阻碍信息的传输,以此达到较好的攻击效果。并且攻击者利用其学习能力,能基于不断变化的信道环境来学习选择不同类型的攻击,使自身利益最大化。这样,攻击者就可以有效地攻击合法用户,从而导致严重的信息泄漏问题。为了解决上述安全问题,提高无线通信在某些攻击类型下的保密性能,博弈论和强化学习等技术已被应用于保护物理层安全通信的研究中。但当前的研究在理论和应用方面仍存在一些未考虑到的关键问题:1)当存在信道估计误差时,如何保证系统在有攻击者情况下的安全以及提高系统的保密性;2)只基于统计信道状态信息进行安全传输博弈时,如何保证安全策略能够有效及分析其对系统的影响程度;3)如何在存在多个攻击者的情况下有效降低攻击者的攻击概率,实现通信传输安全。本文将围绕上述关键问题展开深入研究,研究内容及创新性的成果简述如下:首先,根据信息传输,构建了一个由一个信号发送者、一个接收者以及一个智能攻击者组成的通信模型。对于该模型,在发送者向接收端传输消息的过程中,攻击者选择有利的攻击方式来阻碍其传输过程,达到窃听信息或干扰传输等目的。本工作将发送者与智能攻击者之间的互动行为作为一个双方零和博弈,并根据博弈论相关定义推导出基于不完美信道下该博弈的纳什均衡点。为了应对攻击者的智能攻击和不完美信道估计的共同影响,本文结合博弈论和强化学习技术,提出了一种基于Q学习的功率控制算法,以获得发送端的功率自适应策略。实验结果表明,本工作所提出的功率控制策略在存在信道估计误差下仍然可以有效地提高系统安全性能,同时降低攻击者的攻击概率。其次,本文基于上述模型深入分析了只基于攻击者统计信道状态信息下,进行安全传输时系统的安全性能,分别给出了基于统计信道状态信息下和基于瞬时信道状态信息下的信道安全容量公式,并利用博弈论纳什均衡点的定义推导出该情况下的纳什均衡点。实验结果表明,基于统计信道信息下的系统安全性能的影响可以通过攻击者的攻击代价和平均信道增益等参数来反映,相比基于瞬时信道状态信息下的系统安全容量,基于统计信道信息下的系统安全容量有一定的性能损失。最后,针对如何在存在多个攻击者的情况下有效降低攻击者的攻击概率及实现通信传输安全的问题,构建了一个由一个信号发送者、一个接收者以及多个智能攻击者组成的通信模型,本工作将发送者与多个智能攻击者之间的行为动作作为一个随机博弈,发送者可灵活地选择自己的发送功率,假设攻击者之前不存在合作关系,各自选择使自身利益最大的攻击模式进行攻击。实验结果表明,新提出的基于多智能体攻击下的算法能够在一定程度上提高系统安全数据传输速率,保证通信传输安全。