第三代合作伙伴计划（third Generation Partnership Project,3GPP）成立于1998年,从最初的通用移动通信系统网络,到长期演进（Long Term Evolution,LTE）网络、LTE网络的后续演进（LTE-Advanced,LTE-A）网络,再到当前主流发展的第五代移动通信技术（fifth Generation,5G）网络,3GPP已成长为全球最大的通信标准组织。为满足日益增长的用户通信需求,3GPP网络新空口引入了多种不用类型的实体和技术。首先,LTE-A网络中为了解决普通基站（evolved Node B,e NB）室内覆盖较弱的问题,引入了家庭基站（Home evolved Node B,He NB）,实现了家庭特色覆盖和业务需求。其次,由于5G网络支持高速传输,而高速传输最典型的场景就是高铁网络且高铁网络中数据传输遭受着严重的路径损耗等问题,为了给高铁网络中的用户提供平滑的通信体验,3GPP引入了车载移动中继节点（Mobile Relay Node,MRN）作为车载基站为列车上的用户终端提供稳定的网络服务。最后,为了实现全球网络覆盖,3GPP Rel-17引入了卫星接入技术,作为地面空口接入技术的有效补充。但是,这些新空口实体和技术的引入带来了一些新的安全和性能的挑战,需要进一步的研究和解决。本文系统地研究了新空口实体和技术带来的不同的安全和性能问题,并提出了相应的解决办法。本文的主要贡献总结如下:（1）分析了LTE-A网络中多种类型的He NB和e NB共存时的切换认证场景,指出了多种类型基站共存导致LTE-A网络终端移动切换场景变得异常复杂。此外,现存的切换认证方案存在大量的安全或性能缺陷,并不能满足当前LTE-A网络的需求。针对上述问题,基于椭圆曲线无证书签密技术,设计了一个终端统一切换认证方案。该方案可以适用于LTE-A网络中的所有移动场景,只需三次握手即可实现安全的切换认证,并且在不牺牲效率的前提下保证了多个强安全属性,包括相互认证、密钥协商以及隐私保护等。（2）分析了5G高铁网络中引入MRN后的切换认证场景,指出了现有3GPP标准中MRN的认证机制仍然无法为高速列车上的用户终端提供平滑的通信体验且甚至可能导致MRN切换失败以及由于MRN通过不安全的空口信道接入网络导致新的安全问题,例如易遭受窃听攻击、假冒攻击等问题。此外,现有的MRN的切换认证方案存在大量的安全或性能问题,例如无法实现相互认证或耗费较多切换开销等。针对上述问题,结合5G网络异构特性,基于聚合签名技术和高铁轨迹可预测机制,提出了两种基于固定路径的群组预切换认证方案:方案FTGPHA1和方案FTGPHA2。方案FTGPHA1可以实现大部分安全属性且同时耗费较少的切换开销,而方案FTGPHA2可以在不牺牲效率的前提下实现健壮的安全属性。在这两个方案中,MRN可以在源基站的覆盖范围内提前与目标基站执行群组预切换认证过程,进而可为用户终端提供平滑的通信体验且避免切换失败等问题。（3）分析了5G网络中引入卫星接入技术后的接入认证场景,指出了卫星网络空口链路高度开放以及星地传输距离较远等特点导致卫星网络容易遭受各种各样的协议攻击以及用户终端认证时延过长等问题。此外,5G支持海量物联网设备（Internet of Things Device,Io TD）并发接入,而海量Io TD并发接入卫星网络且每个Io TD执行单独的接入认证过程会瞬时产生大量的信令开销,进而可能导致信令风暴等问题。针对上述问题,基于格理论密码学,提出了一种抗量子的接入认证方案。该方案包括两种认证协议:海量Io TD的并发接入认证协议和一个普通移动设备或者Io TD的接入认证协议。在海量Io TD的并发接入认证协议中,海量Io TD构成一个临时群组执行群组认证过程以此克服信令风暴问题。此外,提出的两个协议可以实现较强的安全属性包括相互认证、条件匿名以及抵抗量子攻击和多种协议攻击等。