随着信息和通信技术的飞速发展,更加复杂的网络结构、网络拓扑、接入技术、业务需求和设备移动性,信息的安全传输面临严峻挑战。当窃听者变成智能攻击者后,如何设计合理的策略使得合法传输者和智能攻击者之间的博弈有利于合法传输者,这是物理层安全技术需要考虑的新问题。与此同时,如何提升在窃听者存在情况下,不同的无线通信系统的物理层安全性能已经成为无线通信领域亟待解决的关键问题。此外,基于缓存辅助的无线通信系统因能显著提高系统的传输性能和降低功率开销而受到广泛关注。因此,本文以无线通信系统的物理层安全为基本研究对象,首先利用博弈论分析智能攻击者和合法传输者的Nash均衡条件,并使用强化学习来找到优化的传输策略;之后,本文将数据存储和存在窃听者的窃听系统模型和多址通信系统相结合,设计出有效的传输策略来提升安全性能。本文将从系统模型、传输方案和性能分析三个层次,分别对存在智能攻击者的MIMO通信系统,基于缓存辅助技术的窃听信道模型以及基于存储辅助的多址窃听系统进行深入研究。首先,针对智能攻击者的MIMO传输最近被描述为一个非协作游戏,在该游戏中,MIMO发送器和恶意攻击者都试图最大化其预定义的实用程序。本文通过仔细分析纳什均衡(NE),重点研究了博弈结果倾向于恶意攻击者而不是MIMO发送者的条件。在这种不利的情况下,非常希望开发一种有效的机制来抑制攻击者的攻击意图,以实现更好的安全通信。基于此,提出了一种自适应安全MIMO传输方案,使MIMO发射机在不利的信道条件下能够更好地抵抗恶意攻击,分析结果证实了所提出的自适应传输方案为增强不利条件下的安全MIMO传输性能提供了一种选择。其次,研究了窃听信道上的缓冲辅助安全传输设计,即在窃听者在场的情况下,源节点有数据缓冲的条件下将其机密信息传送给接收节点。首先在存在窃听者的情况下,设计了传统的长期功率传输策略以最大化安全性能。其次利用拉格朗日对偶分解方法,提出了最优缓冲辅助自适应安全传输方案,给出了最优流量控制机制和功率分配方案。然后,利用Lyapunov优化理论,设计了基于时延安全感知的自适应调度方案。最后揭示了功耗、传输延迟和实现的保密率之间存在着内在的折中关系。最后,研究了存储辅助的自适应多址传输安全系统。首先设计了传统的上行两用户传输方案,其次还设计了传统的基于存储辅助的上行两用户传输方案。然后研究了缓存辅助的上行多址安全系统,并充分考虑了数据存储和长期资源分配对系统平均可达速率区域的影响。理论和数值结果分析表明,所提出的方案可以有效提升多址通信系统的安全性能。最后经过分析得到在平均功率、平均队列延迟和安全吞吐量之间存在着内在的折中关系。总之,本文对窃听环境下基于存储辅助的无线通信系统的安全传输进行了深入的研究,探索了智能攻击者与合法传输者之间的安全博弈以及数据缓存对合法传输者的传输调度,功率分配的影响,并揭示了传输速率、能量消耗以及传输时延三者之间的折中置换关系。