第5代(The Fifth Generation,5G)无线网络作为下一代主要的移动互联网,已成为全球研发的热点,而安全更是5G商业化中的重要一环。5G网络是由大量的宏蜂窝、微蜂窝以及用户设备等不同层次的网络元素共同构成的一个多层次和高密度重叠覆盖的异构网络系统。5G网络需要为这些多种不同的异构网络提供高效的、随时随地的网络接入能力,如何在开放的网络环境中进行密钥协商,设计一个能够适应不同的网络接入方式,并满足不同网络需求的通用的网络安全管理机制成为了5G安全机制设计的一大难题。针对这一问题,本文提出了一种5G下的群组密钥管理机制。群组密钥管理广泛应用于物联网中,用于保证群组成员之间的通信安全。本文首先针对几种经典的群组密钥管理方案进行了深入研究,并在网络连通性和抗捕获性能力上对各个群组密钥管理方案进行了对比分析。根据对经典群组密钥管理方案的分析,本文提出了一种5G下的基于多变量对称多项式的群组密钥管理机制。该机制主要应用于5G网络中的物联网场景,根据目前的移动通信网络安全机制进行扩展,将多变量对称多项式群组密钥管理方案与现有的通信安全机制有机的结合起来,使5G网络能够在保证现有的通信安全的基础上更好的满足物联网的安全需求。在这个密钥管理机制中,5G网络中的两个通信节点之间在不需要第三方认证的情况下,能够独立建立通信密钥,通过这种方式有效降低网络的通信开销,降低网络延迟。此外,由于无需第三方认证,该机制具有良好的兼容性,能够在一定程度上满足5G网络对于网络异构融合的特殊要求。在多变量对称多项式中普遍存在安全阈值门限问题,当网络中被捕获的节点大于多变量对称多项式的安全阈值时,攻击方能够通过拉格朗日插值定理重构网络的对称多项式,致使网络变得极为不安全。在本文的最后,针对这一问题提出了一种改进的多变量对称多项式群组密钥改进算法。该方法将概率性密钥与确定性密钥有机的结合,使网络中的通信链路使用不同的多项式进行密钥协商,能够在一定程度上增加通过攻击网络节点重构多变量对称多项式的难度,从而提升网络的抗捕获能力。本文的方案为5G网络的密钥管理机制设计提供了一种新的思路,特别是群组密钥机制在5G的物联网应用场景领域。