RSSP-Ⅱ协议,是我国CTCS-3级列控系统信号安全通信的核心,其消息鉴定安全层通过定义消息鉴别码算法为车地之间传输的报文提供数据完整性保护和数据来源鉴别,故该算法的安全性直接关系到了高铁的安全运营。但是,目前已有学者对该算法发起密钥恢复攻击,并成功伪造未授权信息被列车接收。虽然在真实系统中,攻击者在较短的密钥生存周期内通常很难得到足够的己知明文以发起实际攻击,但考虑到下一代LTE-R系统消息传输速率更高,且数据包数量更大,攻击者有极大可能在密钥生存周期内发现碰撞从而发起有效攻击。因此,即使现有系统由于成本等原因不进行改进,目前的安全机制也必然无法延用到下一代列控系统以提供防护。围绕该问题,本文提出了针对性改进方案,从而为列控信号的传输提供更高的安全保障。目前,认证加密机制已经广泛用于无线局域网等各个领域,其在安全性和效率等方面均有突出表现,所以本文引入认证加密机制来对列控通信系统进行改进,不仅能够解决现有RSSP-Ⅱ协议核心消息认证算法的安全问题,还可以弥补GSM-R安全机制失效带来的风险,为未来列控通信系统提供高强度的端到端安全保护机制。在选择合适的认证加密算法时,参考了进入CAESAR竞赛最后一轮评选的算法,并结合铁路应用场景的特点,从安全性、实时性和兼容性三方面,对这些算法在铁路列控通信领域的适用性展开研究与分析,最终选出面向深度防御应用场景的Deoxys-Ⅱ算法作为改进方案的核心。在引入Deoxys-Ⅱ算法改进原有安全机制的同时,为了保证协议的兼容性,本文从关联数据划分、密钥生成机制、对等实体验证、安全数据传输、错误处理机制5个方面对原RSSP-Ⅱ协议进行了改进设计,并且进一步对比了Deoxys-Ⅱ算法和原消息鉴别码算法的软硬件实现。软件实现方面,通过构造典型的列控消息包对Deoxys-Ⅱ算法进行了正确性和效率测试,并与原消息鉴别码算法进行对比,结果显示Deoxys-Ⅱ算法的软件时延大幅度降低。硬件实现方面,对Deoxys-Ⅱ算法与原消息鉴别码算法的硬件资源消耗进行对比,结果显示Deoxys-Ⅱ算法的硬件数据吞吐量显著提升,且内存占用明显降低。综上所述,改进后的RSSP-Ⅱ协议,不仅弥补了原协议消息鉴别码方案存在的安全漏洞,为列控信号安全传输提供了更高强度的防护,还显著降低了数据传输的通信耗时,可用于保护类似于紧急停车命令等因过长时延而未纳入保护范围的高优先级指令,进一步保障列控系统的安全性。