下一代移动通信系统(5G)追求更高的吞吐量和更快的传输速率,但是安全性、隐私保护也是用户关注的重要问题。传统的无线通信系统主要借助于上层的加密技术实现安全通信,但是在5G大量用户的密钥分发中遇到很大挑战。物理层安全技术利用无线信道内在的随机性保障通信系统的安全性,不受用户计算能力的影响,可用于解决下一代移动通信的数据传输或大量分布式接入用户密钥分发的安全性问题。本文在毫米波系统中提出一种基于人工噪声的自适应传输方案和安全性能分析。假设发射端已知窃听者部分信道状态信息(CSI),在安全中断概率的约束下,通过优化功率分配因子,提升了安全吞吐量,仿真结果表明该方案效果较好。之后,考虑到大规模天线阵中应用传统数字预编码的复杂性,采取RF预编码技术保障毫米波通信的安全。以安全速率为优化目标,在已知全部信道CSI时,提出最优的半定松弛算法和次优的梯度上升算法,实现RF预编码方案。已知部分信道CSI时,求出满足安全中断概率约束下的RF预编码器,提升了安全性能,并通过仿真与其他方案进行了对比。最后,考虑到性能和复杂度的权衡,在前文的基础上研究了联合数字基带预编码和RF预编码的混合预编码方案。在已知全部信道CSI时,以安全速率为目标函数,提出一种基于梯度上升算法的迭代混合预编码方案。在已知部分信道CSI时,计算出安全中断概率的上界,将安全吞吐量最大化问题转化为一系列的安全中断概率最小化问题,提出迭代混合预编码方案,提高了安全吞吐量并通过仿真与其他方案进行了对比。