恶意代码检测是计算机安全的一个重要领域。本文通过对近三十年提出的各种检测方法的优缺点的分析和比较,发现多数基于特征码的误用检测在恶意代码大量繁殖的今天已经显露其弊端,异常检测虽然具有主动防御的特性,但其准确性无法满足实际要求。针对这些不足,结合主机恶意代码检测的应用背景,本文提出了结合数据挖掘和专家系统的技术来检测主机恶意代码的方法。该方法的创新之处在于检测系统具备的三个特征:1基于恶意代码行为特征;2结合专家系统的技术;3利用数据挖掘算法发掘恶意代码行为模式。本文研究的重点是序列模式算法在恶意代码检测中应用。主要的步骤是:利用行为提取工具SSM和EQSecure将恶意代码样本中的行为序列提取出来,构成序列视图行为数据库。然后,用序列模式挖掘算法挖掘出行为序列库中的频繁模式(即行为特征),构成行为模式库。最后,由专家系统的推理机匹配事实(facts)和规则(rules),给出最终的检测结果。本文的主要工作如下:(1)构建恶意代码行为序列数据库:利用行为提取工具SSM和EQSecure将恶意代码样本中的行为序列提取出来,构成序列视图行为数据库。(2)对于PrefixSpan序列模式挖掘算法的改进:已有的频繁模式挖掘算法多是基于Apriori的,然而当原始数据库太大,或者当频繁模式太多太长,Apriori算法就会遇到瓶颈.本文提出了一个更好的序列模式挖掘算法——PrefixSpan B算法,该算法的核心是利用简约数据库代替原算法的投影数据库,实验证明了其时间性能的提高。(3)序列模式挖掘算法应用于恶意代码检测专家系统: PrefixSpan B算法帮助分析恶意代码的“行为特征”,使得检测专家系统的知识库更完备,更有效。实验表明,算法的正确有效,同时PrefixSpan B算法得到行为模式库远远小于不用任何挖掘算法的知识库,并且可以灵活选择不同长度的模式作为检测规则。