Netflow网络数据采集系统的设计与实现

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:shigoujushi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络的迅速发展,网络规模越来越庞大,网络中的各种应用和业务数量都在快速增长。在这样的环境下,网络流量数据的分析对全面了解网络服务状况,提升网络服务质量、网络安全管理、网络未来规划以及发现网络异常等方面都起着十分重要的作用。Netflow最初是由Cisco公司提出的一种用于收集IP流量信息的网络协议,目前己成为网络流量分析和计量方面公认的行业标准。随着Netflow技术的发展,越来越多的网络管理系统使用Netflow来获取网络流量信息。Netflow数据采集是获取网络流量信息的基础。   本文在深入调研常见流量采集方法和Netflow采集系统的基础上,设计并实现了一套Netflow网络数据采集系统。该系统包括Netflow流分发子系统和存储子系统两部分,支持Netflow报文的处理分发和存储导出。论文的主要工作和贡献如下:   (1)Netflow流分发子系统的设计与实现   Netflow流分发子系统提供向其他网管系统分发Netflow数据的功能。子系统除了支持Netflow原始报文的转发外,还支持按指定规则来处理分发的Netflow数据。由于不同网管系统对Netflow数据的要求不尽相同,所以需要提供一套灵活的规则以满足不同系统的需求。基于上述要求,本文设计了一套Netflow流处理规则nSQL。该规则采用与SQL类似的语法来描述Netflow流的处理和转发,简单易懂,且支持自定义扩展。除此之外,本文还针对处理Netflow流时会出现冗余函数调用的现象提出了一种消除方法。以nSQL规则为核心,本文设计并实现了Netflow流分发子系统。通过对子系统的功能和性能测试,结果显示子系统在支持向4个网管系统转发Netflow数据时的处理延迟在500毫秒以内,能够满足目前系统的实际需求。   (2)Netflow存储子系统的设计与实现   Netflow存储子系统提供Netflow报文的存储和导出功能。在大规模网络中,单位时间内的流数目众多,相应的Netflow报文数目也十分巨大。如何在快速地存储大数据量Netflow报文的同时提高查询导出效率是存储子系统需要解决的问题。本文针对上述问题,设计并实现了一种Netflow数据存储方法。该方法通过文件分块存储和数据库存储索引信息的方式实现了报文存储和查询导出的高效性。以该存储方法为核心,本文设计并实现了Netflow存储子系统。通过对子系统的性能和功能测试,结果显示子系统能在1秒内存入约10万个Netflow报文,并能在1秒内导出约60万个Netflow报文,能够满足目前系统的实际需求。
其他文献
通过计算彩色水印图像各分量的能量值作为各分量水印的嵌入系数,分别提出了基于能量值的二维离散余弦变换和四元数离散余弦变换的彩色图像水印算法,水印嵌入系数是自适应的,并具
卫星通信是一种理想的长途通信,它可以克服地理条件的限制,提供廉价、稳定可靠的信道。它具有全球覆盖,接入简单,扩展性强和带宽按需可变等优点,除通信外,也在气象预测、环境监测、
传统的网络文件系统客户端利用页缓存来缓存服务器端的数据。然而,随着全球数据量的指数级增加,以及内存资源的稀缺性,如何提升网络文件系统对于海量数据的前端读写性能、降
密码学是信息安全的核心基础,密码算法的安全性是各类信息需求的基本保障。随着计算机能力的不断提升,自动搜索算法在密码的设计与分析中发挥了重要作用,成为密码学研究的一大热
人工神经网络是一个优越的通用逼近器,且得到了很好的发展和应用。但是由于存在一些缺陷,如“黑箱”特性和忽视存在的先验信息,神经网络的发展和应用受到了很大程度上的限制
近年来随着Web2.0技术的发展,以在线视频分享网站中的网络视频集为研究目标的网络视频检索技术逐渐成为研究的热点。由于网络视频内容丰富且质量参差不齐,传统的基于内容的视
移动存储介质因其快捷、灵活、简便等优点,成为信息交换存储的重要载体。在国家涉密部门如党政军、科研等机构中有大量的涉密文件不允许采用网络方式传输,只能依赖于各种有保密
星空场景实时仿真在空间探索、通讯导航、遥感探测等领域有着重要的应用价值。随着航天探测技术的快速进步,星空场景仿真正朝着大规模和实时快速的交互式方向迅速发展。  
当前海量小文件访问性能瓶颈是现有分布式文件系统需要解决的问题,其主要表现在高比例元数据并发访问和高随机小粒度数据I/O访问。针对这些问题,本文以pNFS分布式文件系统为
随着互联网的快速发展,互联网上的信息量越来越大,出现了严重的“信息过载”问题,使得用户在面临如此多的信息量往往无所适从。推荐系统主要是对用户与物品之间的交互行为进