论文部分内容阅读
通过对流量的测量和运行状况的分析,网络测量为网络管理、性能提升和结构优化提供参考依据。然而,由于高速互联网技术的迅速发展和大数据时代的到来,网络中的数据呈现爆炸式增长,捕获每个报文信息或者流信息并进行存储和分析已变的不可能。将抽样技术引入流量测量中能有效的解决该瓶颈问题,并且能大大减少测量数据,因此抽样技术成为网络流量工程研究的重点内容之一。本文系统全面地总结了网络流量测量理论,分析了在当前高速网络环境中测量遇到的困难,指出抽样技术在网络测量中的重要作用。接着详细阐述了抽样技术的相关概念,讨论了随机抽样、系统抽样和分层抽样等几种基本的抽样方法,分析比较了抽样测量中哈希算法、概要数据结构等关键技术。最后,通过研究目前网络的特性,将抽样技术与结构简单、查找匹配迅速的Bloom filter(布鲁姆过滤器)相结合,提出了基于LRU_CBF的大流检测算法和基于树形布鲁姆过滤器的流抽样算法。经性能分析和仿真实验证明,本文提出的算法能够在提高测量准确性的同时,提高系统的资源利用率。具体研究内容如下:(1)本文在系统研究了标准型、计数型、拆分型等Bloom filter特点的基础上,将性能优越的计数型Bloom Filter与操作系统中经典的页面置换算法LRU(最近最久未使用)策略相结合设计出一种大流检测算法。该算法使用两层结构,LRU先将大流过滤出来,CBF进一步对大流进行判断,使“大流过滤”与“大流判断”两个过程分离开。这样可以简化数据的存储结构,降低空间复杂度,精确检测大流,提高准确性。通过仿真实验,将本文提出的基于LRU_CBF的大流检测算法与两层CBF算法进行准确性方面的对比得知,本文提出的算法具有更高的准确性和更好的资源利用率。(2)网络规模的不断扩张使得网络流量的特征变得异常复杂,单层次的数据结构不能满足网络测量的要求。本文针对目前标准BF算法在流量过大时会造成计数器溢出的缺陷,设计了一种多层次结构的树形布鲁姆过滤器。改进过滤器的每一层都是一个标准BF,将其中置1的比特位映射出叶子节点,逐层映射后形成树形的多层次过滤器。当流量较大时增加新的BF,防止BF溢出造成测量误差。将树形BF与基于报文的流抽样算法相结合,应用到实际的网络流量测量中,可以在减少测量个数的同时提高测量精度。通过仿真对该算法与基于其他Bloom filter的抽样算法进行了测量误差方面的比较,分析可知,本文提出的算法提高了抽样的准确性,降低了空间利用率。