论文部分内容阅读
网络流量测量是网络监测、管理和控制的基础。随着互联网的发展,网络行为变得越来越复杂,网络流量也越来越大,使直接对流量进行全面测量变得极为困难,为解决这一问题,目前主要采用抽样技术和哈希技术。其中,Bloomfilter是最近逐渐在网络领域受到关注的一种高效的哈希结构,它对数据集合采用一个位串表示并能有效支持集合元素的哈希查找操作,以允许一定的误称率(falsepositiveerror)为代价,获得很高的查找效率和很小的空间消耗。
本文首先根据网络流量的自相似性和重尾分布特点,提出了自适应系统双抽样,每次抽取两个相邻的数据包,旨在保证获得充足的长流信息,不仅能正确估算出Hurst参数,保持了原流量的自相似结构,而且在链路负载测量、包到达时间间隔等方面,较传统抽样方法都有明显的改进。
基于DCF(DynamicCountfilter)的资源可控流抽样则是基于网络流级别的抽样测量,DCF是Bloomfilter的改进结构,支持多重集的元素频率查询。该方法对测量间隔内到达的报文进行固定数量的抽样,并采用DCF哈希算法维护流记录,从限制抽样流样本数和对抽样流的处理两方面来有效地控制资源消耗,抽样率自适应实际流量变化而变化,并具有简单性和准确性。
对于很多应用,了解长流就已足够。长流是指报文数超过某个值的流,它占据了大部分网络流量但数量上相对较少。基于抽样和Bloomfilters的长流检测,首先对报文进行抽样,然后经过Bloomfilters哈希运算,Bloomfilters维护多个哈希函数降低了哈希冲突,在内存中用临时表和流信息表来判断到达阈值的流并维护其信息,满足了高速网络环境下对长流检测的要求,在保证测量精度的同时有效得控制了资源消耗。
最后,对本文的工作进行了总结,并指出了以后的研究方向。