随着软件系统复杂性的不断提高,对其复杂性进行合理地描述和有效地度量是提高软件安全性和可靠性的重要手段。而软件执行过程中产生的一些关键模式可以有效反应软件的行为,所以在软件执行轨迹中挖掘这些模式对分析软件行为,发现软件中的缺陷和错误,维护软件安全具有非常重要的意义。本文从软件动态执行角度进行分析,建立软件模型,设计模式挖掘算法,并进行软件行为特征模式挖掘,其主要工作如下。首先,追踪软件动态执行过程,构建基于软件执行轨迹的序列模型,针对序列模型设计基于Apriori逐层扩展的算法SHUP-Miner,传统的序列模式挖掘算法都是挖掘连续的函数调用模式,漏掉很多重要非连续的序列模式,而SHUP-Miner针对软件执行轨迹中代表模式的长度的不确定性,采用IUL结构,利用模式位置索引从软件执行轨迹数据中挖掘连续和非连续的高效用序列模式。其次,根据软件的动态执行过程,构建函数调用图模型,针对函数调用图模型设计了基于投影数据库的模式挖掘算法PSWP-Miner,函数调用图是一种压缩的数据结构,可以有效节约存储空间,同时该算法采用新的上界模型和新的函数权重定义标准,从函数调用图中挖掘高效用的函数调用序列。然后,在挖掘出的权重序列模式的基础上,对软件序列数据进行分类,预测程序中是否包含错误,根据函数可疑值大小进行排名并生成错误报告。最后,进行算法实验,验证分析算法在运行时间、候选集数量等方面的性能,并验证分类预测的准确率。