协议识别技术是实现流量监控、入侵检测以及用户行为分析等应用的基础。随着互联网的发展,新型的网络类型不断出现,新的协议规范很多都不再对外公开且使用随机的端口。另外,由于信息安全或用户隐私的问题,有越来越多的网络流量被加密,这些都使得协议识别面临和需要解决的问题越来越复杂。所以,寻找更加高效的协议识别方法有着重要的研究和实际应用意义。基于内容的协议识别能够达到很高的准确率,基于流统计特征的识别可以识别加密流量且有较好的吞吐性,这两种协议识别方法是当今协议识别中应用最广泛的。本文主要是通过改进这两种协议识别方法中的匹配算法的性能来提高协议识别效率的,具体的研究工作主要包括以下几个方面:1)提出基于模式匹配和机器学习的协议识别系统。该系统结合这两种协议识别技术的优点,可以通过模式匹配方法实现对协议内容的高准确率的识别,也可以利用机器学习方法识别出加密的流量,并可以对协议特征库不断更新。2)研究和分析了常见的模式匹配算法,并提出了一种改进的BM算法。该算法可以减少算法预处理复杂度,并充分利用失配时候的信息,提高最大跳跃距离,并考虑了更多情况,提高模式串达到最大或者较大跳跃距离的概率,从而提高了匹配的效率。3)提出了一种ESBS-GA特征选择方法。在现有的特征选择方法的基础之上,用遗传算法对现在常用的一些流量特征进一步筛选。ESBS-GA能够筛选获得特征个数更少,且分类效果更佳的流量特征集合,简化了Kmens分类过程,大大提高了分类性能。4)研究和分析了常见的机器学习算法,针对K-means算法中K值较难确定的缺点,提出一种基于二分查找法的K值优化方案。通过结合二分查找法,能够更迅速的确定出比较接近实际分类个数的K值,并且在该K值下,能够获得很好分类效果。