网络流量测量与识别,是网络管理、网络运营、网络优化和网络安全的重要基础,是掌握网络运行规律和理解网络行为的支撑技术。随着网络技术的不断发展,用户数量大幅膨胀,链路速率快速增长,承载业务更加多样化,信息隐匿技术广泛应用,导致传统的基于知名端口号或基于报文载荷的流量识别方法无法满足高速网络流量识别的需求,迫切需要研究有效的网络流量测量与识别技术及策略以应对目前及未来网络管理面临的挑战。高速网络中,并发流数量巨大而且报文速率高,虽然使用简单的流量特征与快速的识别算法能够实现对流量的线速处理,但是难以保证流量识别的准确率；为此,现有的技术通常采用多特征及构建复杂分类模型的思路,处理复杂度高,难以满足实时性的要求；并且当前的流量识别技术没有考虑各种业务的差异化管理要求,不能实现有约束条件的业务识别。因此如何处理准确性与实时性的矛盾是网络业务在线识别的关键与难点,对不同网络业务按级别召回是网络管理的现实需求。本文依托于国家863计划重大项目课题“面向三网融合的统一安全管控网络”和863计划主题项目课题“跨网络信息安全防护”,针对课题中的网络实时识别和控制需求,面向网络业务识别中流量测量和识别算法两个核心环节,从四个方面开展研究,主要工作如下：1.针对高速网络流量识别时获取全部报文代价过大的问题,从报文约减的角度出发,提出基于同源组合布鲁姆过滤器的早期流量抽样算法。该算法利用并发流量中已结束抽样流数目远大于正在抽样流数目的特点,设计宽度不同的两个计数布鲁姆过滤器组合,分别实现“报文计数”与“抽样判断”功能。算法的理论分析表明,调节两个计数布鲁姆过滤器计数器的宽度比,可使误判率达到最低。根据真实流量进行的空间复杂度与误判率的实验证明了算法的有效性。实验结果表明：在相同内存资源限制条件下,该算法的误判率显著低于同类算法；在同样误判率指标下,与其他算法相比,其内存占用至少减少33%。2.针对采用传统计数布鲁姆过滤器算法检测大流时,无结束标识的流量导致的空间拥塞问题,提出了基于自适应超时计数布鲁姆过滤器的大流检测算法。该算法设计了计数布鲁姆过滤器与计时布鲁姆过滤器结合的大流检测结构。一方面通过计数器向量记录流的报文数量,并判断大流；另一方面通过计时器向量记录流最近报文的到达时刻,以便及时将已经结束流占用的计数器自动清除,从而解决无结束标识的流量导致的空间拥塞问题。在对该结构检测误差理论分析的基础上,提出自适应超时机制,根据链路流到达强度与布鲁姆过滤器向量空间长度,自适应调整超时时间,使得算法整体错误率始终保持在最低范围。实验结果表明：该算法的错误率优于固定超时算法的最优值,并且在占用相同内存空间条件下,与其它参考算法相比,该算法准确率最高。3.传统流量识别算法无法满足网络业务差异化分类精度要求,针对该问题,提出基于优先级分类约束的流量识别算法。该算法设计了基于分类信息熵的决策树,并提出加权的悲观错误剪枝,使最终决策树在进行分类时侧重于优先级高的业务类别,提高了优先级高的业务类别的召回率。实验结果表明,算法识别结果与优先级约束一致,并且取得建模时间和准确率的相对平衡。与标准C4.5决策树算法相比,虽然分类的整体准确率略低,但是算法对于高优先级的业务类别召回率明显高于C4.5算法,能够满足差异化分类约束条件,而且F-measure结果与C4.5算法相当。4.针对如何提高在线流量识别的处理速度问题,从流量约减这一新的角度出发,提出一种基于流集的在线流量识别方法。该方法利用相同三元组的流集合具有相同应用类别的特点,对流量集合进行在线约减,即只对具有相同三元组流集合中的部分流进行识别,根据识别的结果投票得出流集对应的业务类别。通过理论分析得出分类错误率与检测的流数量之间的关系。对算法的分类性能和处理速度进行了实验验证,结果表明：该方法可以与多种算法结合使用,并且通过选择合理的分类错误率估计阈值,分类准确率与处理速度方面比参考算法均有大幅提高。