计算机软件的规模与复杂度正在不断增长,使得维护软件安全面临一系列的挑战。因此,对复杂软件系统的分析日益成为数据挖掘领域的热点问题。本文结合序列模式挖掘算法,从软件执行的大量轨迹中挖掘软件的关键路径模式,对软件行为进行分析,主要工作如下。首先,针对软件动态执行过程中函数的多样性及行为复杂性,对软件的动态执行过程进行追踪,获取函数的调用状态及调用顺序,构建软件序列模型。并将获取的数据进行抽象处理,得到函数调用关系图。基于复杂的函数关系调用图,设计了一种度量节点出现故障概率大小的方法。其次,针对软件执行过程中出现故障,而难以发现故障源的问题,本文设计了一种软件执行序列中高效用路径模式挖掘算法Huspm。该算法以子序列模式为单位考虑模式效用,这更符合软件执行轨迹的有序性和连续性。算法根据软件网络中节点间不同的依赖关系,计算节点的受其他节点影响出现故障的概率并将其作为内部效用值。基于模式增长的方式挖掘软件执行轨迹中的高效用路径,能够快速准确的确定故障源的位置。再次,为了分析软件执行过程中故障的传播过程,提出了高效用极大序列模式挖掘算法MHuspm。该算法将软件执行序列数据构造成一个HUSP-Tree树结构,基于HUSP-Tree结构挖掘出最长的高效用路径,这对于分析软件中故障的传播过程具有重要的意义。最后,对本文提出的算法进行实验,验证算法在运行时间、内存消耗以及可扩展性等方面性能,并验证了高效用序列模式不满足向下封闭的性质,最后对实验结果进行了分析。