近年来随着互联网尤其是移动互联网技术的快速发展,互联网通信技术的高速发展给我们的生活带来了巨大的且深远的影响,人类由此步入了信息化的时代。互联网成为人类社会中不可缺少的一项,成为人们进行信息互换以及数据处理的重要途径。然而随之而来的网络通信安全问题愈发严重,成为这个时代不可忽视的问题。随着网络应用服务的多样化和网络结构的复杂化,网络的管理、维护和检测越来越困难,越来越多的私有协议涌现出来,导致网络安全威胁越来越大。因此针对私有协议的分析与识别技术成为当下研究的一个热点,如何有效的提取网络协议的特征并进行识别成为该研究的重中之重。本文总结了目前的针对未知协议识别与分析的相关研究方法,结合遗传算法以及关联规则算法,提出了一整套面向未知协议的特征提取以及识别算法。然后针对难以提取有效固定特征的协议,在前一章的基础上本文提出了一种基于遗传编程的正则特征提取算法,有效的解决了未知协议的特征提取与识别问题,提高了协议识别的准确率。本文主要工作如下:(1)本文首先总结了协议识别以及协议格式逆向的相关方法,对比了各种方法的优点以及其局限性,然后介绍了信息论、模式匹配、数据挖掘算法以及遗传编程等相关概念。(2)本文随后提出了完整的面向未知协议的特征提取以及识别算法,主要流程依次为数据预处理、数据流按块切割、频繁模式的多层次筛选、基于关联规则的正则特征生成以及特征验证。本文对各个算法进行了详细的设计以及实验,最后结合实际数据分析提取出特征的实际意义,通过实验进行验证,最终的到了较好的实验效果。(3)本文最后结合遗传编程相关算法以及正则表达式的相关特性,提出了一种基于树状遗传编程的正则特征提取算法,通过不断地遗传迭代最终得到较优的正则特征。