随着5G信息技术的快速发展,信息安全成为人们热切关注的问题。一方面,由于在无线通信网络中,多媒体具有广播的特性,导致一些未经合法授权的网络节点也可接收信源节点传输的密码信息,这极大的限制了无线通信系统的安全性能。同时,随着终端设备数量的增加和网络结构的复杂化,人们对移动通信的传输速率和服务质量提出了更高的要求。因此,保障信息安全传输与提高信息传输可靠性在物理层安全通信网络中变得十分重要。另一方面,无线通信设备使用电池供电的工作方式的人工维护成本较高,且无法满足频繁通信的能量需求。为此,学者们提出了一种从射频信号中采集能量的绿色通信技术,该技术的应用极大地提高通信设备的工作效率。然而,随着网络结构逐渐趋于复杂化,传统基于数值分析建模的无线通信系统的性能分析过程变得十分繁杂。为了克服这种研究难点,学者们曾尝试结合机器学习算法与无线通信系统来研究系统的性能分析问题,并取得了很好的成绩。近年来,无监督的强化学习算法是通信领域内学者们探究机器学习算法潜在优势的另一个研究热点。利用强化学习算法训练无线通信网络,可让系统内各终端节点之间进行互动学习,并利用学习到的经验数据使系统自适应的给出一种当前时刻内最优的传输策略。特别地,利用强化学习算法训练无线通信环境复杂度较低,且无需要知道系统模型(如卫星通信和无人机通信场景下也有很好的适应性)。本文主要考虑了三种通信场景:一种基于多用户分集技术的能量受限非可信中继网络、一种基于Q-learning算法的机会式天线选择协作中继网络和基于天线选择的全双工主动窃听的动态传输网络。在第一种场景中,结合无线能量采集技术和物理层安全技术探究无线通信网络的安全性能分析问题,并利用交替优化方案解决了无线通信系统在非线性能量采集模式下的非凸问题。仿真结果表明,利用天线选择方案可获得比指定天线工作模式更好的安全性能增益。在第二种场景中,结合性能优化与离线更新的Q-learning算法分析网络传输性能,并得到两种最优的自适应动态传输策略。在最后一种方案中,多天线的信源利用人工噪声预编码方案和最大比传输方案对抗全双工主动窃听节点的干扰。其次,在全双工主动窃听节点可调节其噪声功率来平衡既降低合法信道容量,也防止窃听被检测的条件下,结合最优的功率分配因子提出一种基于在线更新的SARSA算法动态对抗窃听干扰,从而得到一种最优的动态安全传输策略。研究结果表明:本文中设计的天线选择传输方案既可在一定程度上避免无线信道资源的浪费,也可有效的提升系统的传输性能。其次,将强化学习算法应用到无线通信网络中,可使无线通信系统自适应的获得系统中最优的传输性能增益。同时,合理的性能优化方案和传输参数设计,可大幅度的提高强化学习算法在无线通信领域的性能表现。