网络流量监测中的大业务流识别算法研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:a1a1a1a1a1a1a1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量测量是网络安全管理的重要方式,大部分网络安全事件的检测都是通过网络流量采集分析完成。高速的网络链路、海量的存储数据、多样的上层应用和持续变化的网络给网络流量测量带来巨大的挑战。大业务流识别是网络流量测量的一种可扩展性解决方案,对网络流量建模、网络性能分析及预测、网络规划及流量控制等具有十分重要的意义。随着链路带宽的快速增长和网络流量的急剧膨胀,大业务流识别算法面临识别精度、存储空间与数据包处理速度的挑战。   本文重点研究网络流量监测中的大业务流识别算法,主要工作与创新点如下:   1)实验对比评价当前主流大业务流识别算法。在总结归纳已有大业务流识别算法优缺点的基础上,本文通过实际网络的测量数据,从准确率、空间消耗和时间复杂度三个方面对基于计数的算法LC(Lossy Counting,SS(Space Saving)和基于哈希的算法CM(Count-Min Sketch)进行实验对比。实验结果显示:LC实现简单,能以较小的空间复杂度较快地识别出大业务流,是当前性能最好的大业务流识别算法之一。   2)基于数据流衰减模型,提出一种记忆损耗计数算法MLC(Mnemonic LossyCounting)。MLC算法引入历史信息表,暂存最有可能成为大业务流的候选数据流;该算法考虑历史信息对当前网络数据流状态的影响,对各数据流指定合适的误差边界,极大地提高大业务流识别的准确性。本文理论分析该算法的正确性、时间及空间复杂度。MLC算法是确定误差区间的ε-近似算法;至多存储log(εN)/ε个数据项记录(N为到目前为止数据流中出现的数据项数目);时间复杂度为O(2/ε+1/slog(1/ε))。   3)设计一种提供单数据项处理时间为常数时间(O(1))的混合数据结构,实现MLC算法。基于实际互联网数据,实验验证了MLC算法的误报率、漏报率、检测率、空间消耗和单数据项更新时间等性能。实验结果表明,与经典计数算法LC,SS及PLC(Probabilistic Lossy Counting)相比:MLC有90-97%的查询误报率为零,相比LC和PLC识别准确率分别提高31.5%和6.67%;MLC,LC和SS保证无漏报项,检测率达到100%,PLC仅以概率1-δ来保证查询结果满足ε-近似要求;MLC初始时达到最大空间消耗,其最大空间消耗远低于LC和SS,且随着数据流的增长,MLC空间消耗逐步稳定;MLC具有更快的处理速度,可在平均包到达间隔内完成对单数据项的更新。
其他文献
目标识别是计算机视觉研究的核心问题之一。基于局部不变特征构建的识别算法可以显著提高视觉应用系统的性能,已经被广泛应用于图像目标识别、图像检索等领域。   本文首先
随着工业控制现场对实时性需求的日益增长,高速可编程控制器的研究显得十分重要。而可编程控制器是以微处理器为核心的新型工业自动控制装置,这使得提高可编程控制器微处理器性
随着集成电路制造工艺特征尺寸的缩小,单个芯片上集成的晶体管数目不断增加,电源电压不断降低,使得微处理器中软错误与间歇故障发生的概率不断增长,可靠性已成为微处理器设计时必
随着云计算在全球范围内的蓬勃兴起和广泛应用,互联网也经历了高速的发展历程,网络持续消耗的大量电力已经成为互联网提供商面临的关键问题。然而,由于传统互联网领域一贯秉承超
群搜索优化算法是通过模拟自然界动物群体的觅食行为而构造的随机优化算法。该算法具有广阔的生物学背景,已成功应用于人工神经网络、医学、电力系统以及机械设计等方面。但
手势识别技术是当今人机交互领域的一个研究热点,它通过理解人们的手势而做出相应的反应,摆脱了传统交互方式如鼠标、键盘的束缚,给人们提供了一种自然高效的交互方式。   以
普适计算是Mark Weiser于1991年提出的关于未来计算模式的构想。在普适计算环境下,计算和通信能力将普遍存在并融入到日常生活环境中,信息空间与物理空间将有机的融为一体,构成
随着社会经济的不断发展,人们所面临的系统越来越复杂,事物的刻画和描述常常会出现不同程度的不确定性和模糊性。利用模糊概念来表征事物在现实生活中经常出现,比如医疗上判断一
近些年来,随着各类传感技术逐渐成熟,人机交互技术的研究也获得突破性发展。在过去的几年中,如何使用廉价的设备来捕获人体运动成为了一个越来越热门的研究课题。   基于计算
随着科学技术的发展,模拟计算和仪器测绘所得到的海量数据可视化越来越成为应用的瓶颈。实时可视化研究主要包括基于GPU的可视化算法加速和并行可视化。本文以三维数据场可视