以Massive MIMO、非正交调制等为代表的5G关键技术,满足了激速增长的传输速率、资源利用率、服务质量、覆盖范围等需求,与现行的4G系统相比,极大地丰富了应用场景和用户体验。然而,5G的高安全需求、大容量、快速接入、物联网和异构网络给未来无线通信网络带来了安全挑战。基于计算的传统安全因高速计算机和云计算的破解效率惊人而危如累卵;以信道差异性为核心的基于统计的物理层安全成为5G中受关注的安全新技术,但其依赖信道严重,牺牲系统复杂度和传输效率,其是基于概率的安全,在短帧传输下不能达到概率为1的安全,应用环境受到限制。基于上述背景,本文针对5G中的安全传输问题,结合5G物理层关键技术,研究物理层安全与传统密码学安全相结合的跨层安全传输技术。首先,对于SCMA技术,分别提出基于随机码本集和变形码的跨层安全传输方案。通过合法双方共享上层密钥流,控制SCMA调制过程中的码本集选取或码字变形,借助稀疏码本映射及MPA检测译码对码字和码本的依赖性,使得非法窃听者译码失败。在仿真验证两种方案误码率和安全容量两方面性能的基础上,提出了分级安全策略,在不同的信噪比下选取不同的跨层安全方案,以最小复杂度保证安全传输需求。两种方案均突破了信道特性的局限,且系统额外开销小。其次,提出两种基于空间调制OFDM的MIMO跨层安全传输方案。此时,合法通信方共享的上层密钥流有以下作用:在多态空间调制方案中控制码域调制/解调和空域调制/解调,在跨层预编码方案中控制天线映射、构造秘密预编码矩阵及其逆矩阵。在利用空间调制因信道分布差异带来的物理层安全基础上,通过空域码域信号的多态跳变和OFDM符号随机相位偏移,阻止窃听者截获秘密信息。安全性分析和仿真结果表明,两种方案在多种幅度/相位调制方式下,以合法者可靠译码、窃听者误码率逼近0.5、误帧率100%及良好的系统安全容量有效保障了通信安全。最后,在USRP-Lab VIEW平台下实现和验证基于预编码的MIMO-OFDM跨层安全传输方案。本文在设计通信链路功能模块及帧结构的基础上,利用软硬件环境搭建完整下行链路通信系统,分别在2.5GHz/3.5GHz/5GHz的频段实现和验证了跨层预编码方案对系统安全性能的增强作用。多次测试证实了本文所提跨层安全方案的可靠性及安全性可以实现无条件安全传输。