近年移动终端的逐渐普及和网络的蓬勃发展催生了新型互联网结构的诞生,促进了网络流量的增长。在如此庞大的网络背后,对网络流量的有效监管是网络安全保护的基石。目前网络监管方向的许多研究都专注于未知网络协议类型的分析,与机器学习相结合的协议识别方法是此类研究中的热点,该方法提取数据流特征并建立数据集,使用机器学习的算法模型分析未知网络流量,可以得到相对于传统网络协议分析方法更好的识别效果。本文的研究主要聚焦于不同协议类型和应用数据加密方法的分析。不同的数据流由于其承载应用的不同,在持续时间,数据分布,应用数据安全性,客户端、服务端交互等特性上都会存在一些差别。针对这些差别,本文提出一种识别算法模型实现对不同协议流、不同应用密文加密算法类型的识别与分析。首先,针对未知网络协议识别问题,本文在深入研究K-Means算法后提出了基于KMeans算法聚类过程和离群点分析的未知协议识别算法模型。K-Means算法流程简单,运行高效,作用于大数据集上效果较好,但K-Means算法在流量识别中存在着一定缺陷:K-Means算法对初始聚类中心点的选择采取随机的策略;执行同样功能的数据流在不同的网络环境下会表现出不同的特征,因此数据集中异常点较多,而算法的结果易受到该因素的影响;特征构建过程中冗余维度的存在,维度之间量纲的差别等因素也会影响到识别的精确率。为了弥补上述缺陷,本文引入特征归一化预处理、特征选择、LOF离群点分析等操作,聚类过程使用K-Means++算法,并借助离群点分析中的最大局部可达密度点来实现初始聚类中心点的准确定位。其次,针对流量应用数据所使用的加密算法类型的识别,本文在未知协议识别的基础上,提出了基于随机森林的算法模型。若直接对所有网络数据进行加密算法类型识别,由于非加密应用数据的存在,不仅影响识别的准确性,也会因为处理了太多的无关数据影响到算法的执行效率。故本文提出的加密算法类型识别模型建立于第3章的协议识别模型之上,在聚类算法的结果中针对其中进行了应用数据加密的协议类别,依据协议流特性对其密文进行特征构建,建立随机森林算法模型对不同的加密算法进行分类。分类方法建立在聚类算法的基础上,规避了未加密的应用数据,既减少了算法处理的数据量,也可以得到更好的识别结果。本文所使用的数据集均由对原始数据进行特征工程处理得到,在尽可能提取模型特征的情况下,也对数据集进行了一定程度的加工和优化。最终的实验结果表明,改进算法模型在未知协议识别的精确率上有一定提升,对加密算法类型也有较好的识别效果。通过整个算法模型,可以有效的识别互联网不同协议流的类型,并可以初步的识别和分析其中的应用数据密文。