随着无线通信技术的飞速发展,5G技术将在2020年完成标准制定并全面商用。作为5G的关键技术之一,大规模天线阵列(Massive multiple input multiple output,Massive MIMO)技术研究潜力巨大。无线媒质固有的开放性特征使无线网络信息传输深受窃听困扰。传统的无线安全对复杂的高层加密依赖性很高,而物理层安全作为底层安全技术,利用无线信道物理特性存在的固有差异能获得无条件安全,因此研究Massive MIMO系统窃听信道的物理层安全问题十分必要。此外,近几年无线通信和人工智能产业齐头并进,催生了无线通信理论与智能学科理论的交叉学科领域研究,以强化学习、深度学习为代表的机器学习理论成为无线通信技术的重要研究方法。基于强化学习理论的Massive MIMO信号处理有大量理论文献,但其研究分散,场景差异较大,算法通用性不强,并未形成深入、完善的理论体系。本文根据Massive MIMO物理层的无线信号呈现大规模、高速率、高信息量的智能学科特性,利用强化学习算法解决了Massive MIMO的物理层安全问题,为无线信号处理提出了新的研究思路。本文主要针对Massive MIMO的物理层安全问题进行了研究。在分析三端口窃听信道物理层特性、构建马尔科夫决策过程(Markov decision process,MDP)的基础上,提出了一个基于Q值更新的值迭代算法,以保密容量最大化为目标,获得了最佳功率分配策略。利用仿真平台对算法参数进行了评估分析,并对算法性能进行了仿真验证,说明了算法在Massive MIMO三端口窃听信道信息安全传输的前提下,可以稳定有效地获得功率分配的最佳策略。主要研究工作如下:(1)研究了Massive MIMO系统的物理层特性以及理论信道模型,并考虑大规模天线阵列的互耦阻抗和负载阻抗,为存在窃听用户的三端口窃听信道建立下行链路的信道模型;然后推导了MIMO信道的信道容量以及MIMO信道容量优化方案,详细分析了三端口窃听信道中不同信道类型的保密容量,尤其是多天线窃听信道的保密容量,为强化学习算法的决策优化奠定了模型基础。(2)研究了马尔科夫决策过程特性,并根据三端口窃听信道设计了MDP的信道环境模型;然后,利用有限状态马氏信道的区间转移概率模型,给出信道的状态转移概率表达式,实现了基站分配发射功率时的子信道转移;最后,以Massive MIMO三端口窃听信道的保密容量最大化为目标设计了基于折扣总回报的马尔科夫决策过程,构建了强化学习算法在Massive MIMO物理层的基本框架。(3)研究了MDP不同的求解方法,根据贝尔曼最优方程计算了最优值函数,提出了一个基于Q值更新的值迭代算法,使基站端获得了一个最佳分配发射功率的策略,可以根据信道环境的变化最优地分配发射功率。在仿真平台上仿真系统模型的学习过程。首先,通过分析不同参数对算法的影响,评估算法的稳定性和有效性;然后,利用最优参数组合找到系统模型的最优策略方案。仿真结果表明,基站在一定范围内增加发射功率,可以在保证信息安全传输的前提下提高Massive MIMO三端口窃听信道物理层的保密容量,进一步验证了算法性能。