公钥密码算法在保障信息安全方面起着关键作用,鉴于公钥算法的安全机制,其广泛地应用于数据加密、数字签名、信息的完整性认证等方面。公钥密码算法识别技术的研究对关键电子设备及计算机应用软件的逆向解析具有非常重要的作用。公钥密码算法识别的首要前提是选取合适的算法特征,本文从公钥密码算法加密原理、算法实现特征、密码学函数库的逆向分析特征三个方面对公钥密码算法特征进行了研究和分析,提出了汇编级的公钥密码算法库函数实现特征;结合公钥密码算法特征,通过对算法的识别方法及模型检测技术的研究与分析,提出了基于自动机理论的模型检测技术的公钥密码算法识别方法;结合汇编级的公钥密码算法库函数实现特征的时序性,针对三类公钥密码算法实例分别设计了算法加密原语,并基于加密原语的调用序列构建了公钥密码算法的有限状态自动机模型;采用FLIRT技术对目标二进制文件预处理分析,筛选出公钥密码算法可疑函数,并针对可疑函数设计了自动化建模算法,构建了基于控制流建模技术的函数调用时序图,实现了函数调用时序图到下推自动机的转换;结合公钥密码算法的特征模型和目标可疑函数的控制流模型,设计了基于Tarjan的检查有向图的强连通分支的模型检测算法。论文给出了一个基于自动机理论的模型检测技术的公钥密码算法识别原型工具。测试结果表明:该原型工具能够快速准确地识别出目标二进制代码中常用的公钥密码算法,且工具中的目标二进制文件的自动化建模功能及模型的自动化检测功能能够有效提高算法的分析与识别效率。