本文对基站配备大规模天线阵列的毫米波通信系统进行了物理层相关安全技术的研究。毫米波通信系统中基站处配备了大量天线,由于系统硬件成本限制,需要寻求成本可控的预编码方案,同时可以接近全数字预编码的系统性能,即基带射频混合预编码方案。(1)在单用户系统的场景下,接收端配备多天线,提出了一种频谱效率优化的混合预编码方案,且对能源效率进行了分析。分别建立了传统MIMO单用户系统模型和大规模MIMO单用户系统模型,介绍了一种适用于毫米波信道的Cluster-Ray信道模型。介绍了使频谱效率最大化的优化目标和约束条件,基于传统的正交匹配追踪算法,详细阐述了提出的改进混合预编码方案,仿真结果表明提出的TOMP算法频谱效率性能远优于OMP算法,且接近最优全数字预编码方案。最后从信噪比和射频数两个方面分析了不同预编码方案对能源效率性能的影响。(2)介绍了在MISO系统中的物理层安全问题,给出了安全容量的定义以及通信系统中存在窃听者时的系统模型。分析了传统的迫零预编码方案和人工噪声辅助的预编码方案,并对其进行了仿真分析。在添加了人工噪声的预编码方案中,对波束成形和人工噪声进行了联合优化,仿真结果表明,添加人工噪声能提升系统性能。(3)在多用户系统的场景下,各接收端配备单天线,研究了毫米波通信系统的预编码方案。介绍了传统MIMO多用户系统模型和大规模MIMO多用户系统模型,介绍了毫米波信道模型。介绍了发射端混合预编码设计的优化目标和约束条件。分析了一种相控迫零的混合预编码方案,并基于该方案的局限性提出了新的预编码矩阵构造方案,仿真结果表明提出的方案比相控ZF方案具有更广的适用性,且频谱效率性能较优。直观的分析了传统的最大比传输预编码和迫零预编码效果,最后通过仿真得以验证。