未知协议往往未经历过大量安全测试与改进,这使得未知协议经常存在“设计错误”的漏洞,而且漏洞的利用方式同样是远程的形式。未知协议的大量应用,为网络空间带来了严重的安全隐患。为了维护网络空间的安全,对未知协议进行测试是必要的。模糊测试作为一种高效的方法,被广泛应用于未知协议的安全测试中。因此,本文基于报文序列之间的关联规则对未知协议模糊测试的优化进行了研究,研究内容主要分为3个方面:（1）针对协议逆向研究中存在的数据冗余问题,以及模糊测试研究中的测试用例生成优化问题。本文在聚类阶段通过特征选择算法来进行高效的层次聚类,并对TF-IDF进行了改进,使得聚类效果能够考虑到符号本身的含义,得到了高内聚性的层次聚类结果。同时由于层次聚类的特性,使得聚类结果的具有更强可解释性。在协议格式推断阶段,通过构建条件模式基来进行字段划分,避免了支持度对格式提取产生的不利影响。同时根据字段语义,设定了字段变异规则,有效减小测试用例的生成规模,优化了测试用例的生成。（2）针对未知协议模糊测试的执行路径生成问题。本文提出了一种报文类型时间序列频繁模式树挖掘算法,设计了面向执行路径生成的剪枝策略、存储结构。对比Fp-growth算法,在报文类型时间序列频繁模式树构建与挖掘方面,有着更好的执行效率与算法性能。结合BFS算法搜索报文类型时间序列频繁模式树所生成执行路径树,去除了冗余的执行路径。路径的简化,使测试的效率得到了提高。（3）未知协议模糊测试自动化方案的研究。针对协议逆向与模糊测试工程自动化程度不足的问题,本文基于MTV模型设计了未知协议模糊测试原型系统。系统模块低耦合的特性,有利于系统的维护与更新。原型系统初步完成了未知协议模糊测试从协议逆向到模糊测试的自动化过程。