在未来5G移动通信中,更大的吞吐量和更快的传输速率是一个重要需求,但无线通信的安全性也是用户关注的一个关键问题。在传统的无线通信系统中,主要依靠上层的加密技术来实现信息安全,需要通过大量数学运算实现,而物理层安全通过利用无线通信信道的正常随机性来确保信息传送到期望接收者,并同时保证不能被非期望者提取到正确信号,从根本上解决无线广播通信的安全问题。本文提出在大规模阵列系统中基于切换相控阵的天线选择安全方案,通过在每个发送符号间断从天线码本中选择天线结构来随机切换天线阵列,从而实现扰乱非期望方向窃听者的星座图,使其无法解调信号,同时保证期望方向星座图没有影响。在此基础上,还提出了基于迭代FFT的天线选择算法用于选择低旁瓣的天线阵列构成码本。之后,本文把线阵中的基于切换相控阵的天线选择安全传输方案,从一维线阵推广到二维平面阵,提出了基于天线子集选择的平面阵物理层安全传输方案。利用平面阵列在垂直方向上的波束控制能力,解决了线阵无法在俯仰角方向扰乱窃听者星座图的缺点,进一步提升了此方案的实际应用场景。同时,把线阵中的迭代FFT算法推广到面阵,用于选择面阵中低旁瓣的天线结构构成码本,用来天线切换。最后,本文研究了大规模天线阵列和毫米波系统中混合预编码安全问题,提出基于射频子阵列结构的混合预编码联合人工噪声安全方案。在发送者知道部分窃听者信道信息的场景下,给出了保密速率下界,然后提出在混合预编码中联合人工噪声,设计混合预编码器来最大化保密速率的下界,从而提高了毫米波混合预编码系统中安全传输性能。