网络流量测量中的抽样算法研究

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:lele3383
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过对流量的测量和运行状况的分析,网络测量为网络管理、性能提升和结构优化提供参考依据。然而,由于高速互联网技术的迅速发展和大数据时代的到来,网络中的数据呈现爆炸式增长,捕获每个报文信息或者流信息并进行存储和分析已变的不可能。将抽样技术引入流量测量中能有效的解决该瓶颈问题,并且能大大减少测量数据,因此抽样技术成为网络流量工程研究的重点内容之一。本文系统全面地总结了网络流量测量理论,分析了在当前高速网络环境中测量遇到的困难,指出抽样技术在网络测量中的重要作用。接着详细阐述了抽样技术的相关概念,讨论了随机抽样、系统抽样和分层抽样等几种基本的抽样方法,分析比较了抽样测量中哈希算法、概要数据结构等关键技术。最后,通过研究目前网络的特性,将抽样技术与结构简单、查找匹配迅速的Bloom filter(布鲁姆过滤器)相结合,提出了基于LRU_CBF的大流检测算法和基于树形布鲁姆过滤器的流抽样算法。经性能分析和仿真实验证明,本文提出的算法能够在提高测量准确性的同时,提高系统的资源利用率。具体研究内容如下:(1)本文在系统研究了标准型、计数型、拆分型等Bloom filter特点的基础上,将性能优越的计数型Bloom Filter与操作系统中经典的页面置换算法LRU(最近最久未使用)策略相结合设计出一种大流检测算法。该算法使用两层结构,LRU先将大流过滤出来,CBF进一步对大流进行判断,使“大流过滤”与“大流判断”两个过程分离开。这样可以简化数据的存储结构,降低空间复杂度,精确检测大流,提高准确性。通过仿真实验,将本文提出的基于LRU_CBF的大流检测算法与两层CBF算法进行准确性方面的对比得知,本文提出的算法具有更高的准确性和更好的资源利用率。(2)网络规模的不断扩张使得网络流量的特征变得异常复杂,单层次的数据结构不能满足网络测量的要求。本文针对目前标准BF算法在流量过大时会造成计数器溢出的缺陷,设计了一种多层次结构的树形布鲁姆过滤器。改进过滤器的每一层都是一个标准BF,将其中置1的比特位映射出叶子节点,逐层映射后形成树形的多层次过滤器。当流量较大时增加新的BF,防止BF溢出造成测量误差。将树形BF与基于报文的流抽样算法相结合,应用到实际的网络流量测量中,可以在减少测量个数的同时提高测量精度。通过仿真对该算法与基于其他Bloom filter的抽样算法进行了测量误差方面的比较,分析可知,本文提出的算法提高了抽样的准确性,降低了空间利用率。
其他文献
随着互联网技术的迅猛发展,网格逐步成为一种新的技术和基础设施,可以充分利用集成的资源。当网格应用的逻辑过程复杂、需要有各种时间和因果约束的时候,就需要网格工作流来
为了有效地实现协同作业环境中企业应用系统间的信息集成,提出了一种集成交换网络技术。集成交换网络技术通过构建十字交叉的信息交换矩阵,为进行信息交换的应用实体间建立起
图像哈希算法是信息安全和图像处理交叉领域的一项重要研究课题,已经在诸多方面取得成功应用,如内容认证、图像取证、水印嵌入、篡改检测等。实际上,它是一种图像表示的新技
自从Wiener滤波以来,估计问题包括滤波、预测、平滑已经成为控制、通信领域关键的研究课题。但是Wiener滤波很难实现信号的实时处理,而Kalman滤波正好弥补了这一缺陷,当信号
随着计算机软件业的不断进步和互联网络的高速发展,软件保护遇到了前所未有的挑战,在此背景下,通过隐藏信息的存在而保护信息的软件水印技术应运而生。作为防盗版的技术手段,
数据融合是许多传统学科和新兴工程领域相结合而形成的一个新的前沿学科,超越了在军事领域的应用,已经在许多领域中得到了广泛的应用。人工神经网络是计算智能和机器学习研究
随着社会的不断进步和计算机技术的不断发展,以计算机技术为基础的数据可视化技术有了很大地发展。现代企业运转过程中产生和记录的数据越来越多,其中包括了企业外部业务数据以
工业过程的现场监控设备类型和数量很多,普遍使用了大量的传感器、执行器和控制器来完成工业现场流程的监控和自动化。随着工厂生产自动化和管理信息化发展的要求,如何获取、
特征抽取在模式识别领域是核心问题之一,其主要任务便是从原始样本信息中提取出最有利于模式分类的有效鉴别信息。在生物识别中,基于编码的方法,由于其具有很多优势,如精确度
信息化的飞速发展使各种文本信息呈现爆炸式增长,这给人们的工作、学习和生活提供了极大便利,但淹没于大量无用、重复信息之中的有用信息很难通过人工的方法被全面准确地提取出