流量数据时间机系统的改进研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:zkry123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流量数据是对网络规划、网络管理、网络安全、新网络协议等研究工作的重要基础。随着网络的不断发展,规模不断扩大,网络数据流量急剧增加,高速网络越来越普遍。低速网络环境下使用一般的工具就能记录所有流量数据,再简单过滤掉无用的数据就可以减少要存储的数据量。但是,在高速网络环境下,大量记录数据和简单过滤都变得不太可能。所以,设计针对高速网络海量数据的实时存储与查询系统已经成为当前网络测量领域越来越重要的挑战。流量数据时间机(Time Machine)系统是由Stefan Kornexl和他的同伴在2005年设计提出的一种基于动态过滤方案和缓冲存储装置的系统。该系统针对高速网络,其设计目的主要有两个:大量记录高通信流量并保存一段时间和让使用者能方便快速的查找所需要的历史数据。到目前为止,时间机系统是对高速网络环境下的海量数据实时存储性能最好的系统。本文对时间机系统的反馈数据的特征字符串匹配以及系统的数据存储两部分进行了有效的改进。首先,为了能在高速网络环境下有效的进行实时数据监测或内容审计,提出Sunday字符串匹配算法的改进版本RoSunday算法,用于对系统反馈回的包数据进行特征字符串的匹配,以加快查询匹配的速度,提高数据检测的效率。同时,为了在不影响数据查询速度的前提下提高时间机系统的空间利用率,我们给每个数据包建立了查询-分类两级索引,并选出一种相对较优的无损压缩算法用于对数据包存储前的压缩。这样,使用者只需要在索引文件中查询所需数据的相应查询索引项,由于数据包在压缩的同时,其索引不压缩,引入压缩算法在大幅度提高空间利用率的同时根本不会影响数据的查询访问速度。最后,针对数据包压缩前后所占存储空间、索引查询结果、特征字符串的匹配时间三个方面做了对比实验,并对实验结果进行了详细分析。实验结果证明本文对时间机系统的改进是切实有效的。
其他文献
近年,计算机技术的迅速发展和广泛普及,改变了人们传统的生产、生活和管理方式,同时也为违法犯罪分子提供了新的犯罪手段和空间。以计算机信息系统为犯罪对象和工具的新型犯罪活
随着智能化时代的到来,机器视觉技术,图像处理技术与人工智能飞速发展,极大推动田间智能除草技术不断发展与更新。智能除草装置相比传统的人工除草方式有很多优点,已成为农业
基因芯片可以同时检测一个生物样本的所有转录因子活性。与传统的实验工具不同,基因表达芯片能够使我们对细胞在基因水平上有一个全局的认识。该技术已经被广泛应用到很多领域
近年来,互联网发展迅速,但与之相伴随的是网络安全事件的频繁涌现,互联网络中安全威胁的范围越来越大,DDoS、扫描、蠕虫等大规模攻击已经给人们的正常工作、学习、科研带来严
本文的研究目的是通过对眼动信息的分析来进行前庭功能的检测。眼震数据分析是前庭功能检查的客观依据之一。本文利用的方法是通过对眼动视频图像进行处理,从而获取眼睛瞳孔
随着射频识别(RFID)技术在各个领域应用越来越深入,RFID技术正在引导着行业的发展,影响着人们的生活。各国政府、科研机构和企业都在积极进行RFID技术的研究和开发。RFID阅读器
随着当今信息科学的不断发展和进步,信息交互变得日益频繁,信息安全也就成为了最突出的问题之一。通信安全作为信息安全的重要组成部分,理所当然的受到了广泛的关注和研究。
数据流的出现给传统的数据挖掘技术带来了巨大的挑战。由于数据流连续不断的到来,已有的数据处理技术难以对这些潜在无限的、变化的数据进行有效的管理和挖掘。随着移动终端设
论文设计并实现了NBOS源数据预分析系统,对NBOS源数据进行必要的统计分析和存储处理。统计分析的目的是为NBOS部分配置参数的设置提供依据;存储的目的是为NBOS开发系统和测试
随着3G网络的发展以及芯片性能的不断增强、成本的不断降低,基于3G网络的移动多媒体终端的应用越来越广泛,比如视频会议、视频监控等,终端间的通信变得越来越重要。sip协议简