论文部分内容阅读
流量识别是指利用相关技术手段自动化将网络流量按照预先设定的标准划分为不同种类的分类技术。该技术被广泛应用于合法监听、网络调度、异常检测和套餐设计等众多领域,方便网络提供商指定策略。目前网络环境为了保证用户数据安全,正逐步使用HTTPS协议代替原有HTTP协议作为分发web内容的主要协议,因此研究加密流量识别技术有助于运营商更为全面地了解真实网络环境并制定相应策略。HTTPS流量识别(分类)技术的主要难点在于识别目标是基于流量负载类型进行细分,一般的基于数据包包头和数据包负载关键字的识别技术无法适用,基于机器学习识别方法虽然能够满足识别需求,但可供借鉴的经验较少,且模型训练所需数据集成为制约实验开展的重要因素;同时在线识别需要综合考虑识别办法准确度和识别效率两个指标,因为对数据包数量需求的差异性,一般模型往往无法兼顾。针对上述问题,本文的主要工作和创新点如下: 1.带标识HTTPS流量样本自动捕捉办法。针对目前公开且符合本次实验需求HTTPS样本较为缺乏的情况,文章设计并实现了能够自动捕捉加密流量并以其负载类型作为样本标记的办法。实验从“先记录、再捕捉、后标记”的实验思路出发,利用资源与URL之间的对应关系,首先通过解析HTML文档或者HTTP数据包包头的形式获得URL指向资源的类型,而后通过加密访问的方式捕捉访问过程并将此标记此作为捕捉后样本的标识。方案最终将捕捉的样本数据基于负载类型的不同分为文本、语音、图片和视频四个种类,为识别模型的训练和优化提供了数据支撑。 2.构建兼顾准确率和效率识别模型。实验设计方案在识别特定数据流时需要经历特征计算和结果判别两个过程,识别模型在设计时将两个步骤抽象成两个低耦合模块。通过调整判别模块中决策树模型的参数和特征,实验的识别准确度最高达到95.3%。此外,实验数据说明特征计算是造成效率瓶颈的主要因素,通过分析实例样本种类在特征空间的稀疏属性,实验提出特征偏差容错概念,依靠该概念设计算法找出各个种类在特征空间的边缘阈值,将实例与特征向量的对应关系转变为对特征空间区域的映射关系,通过这种办法,模型可以在现有研究基础上节约20%的计算资源,能够比一般模型更好地面对高并发网络环境。 文章最后对模型面对高并发环境的实际性能做了测试。发现经过调整的识别模型能够以较高的性能表现满足一般网络的识别需求。