分布式网络数据包索引存储系统研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:shiyigudan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的飞速发展,全球网络数据流量逐年高速增长,在现今大数据时代,网络数据的价值尤为重要。提供网络服务的企业或提供商、金融机构、具有高度安全性要求的数据中心等大型机构越来越关注于这样的一些强大工具,它们能够将网络数据进行存档并且可以方便进行事后分析。然而需要存储的网络信息是非常庞大的,如何将这庞大的数据进行存储并组织好方便用于之后的安全分析是个非常重要的,并且具有挑战性的问题。网络数据的数量庞大,其存储需要大量的存储空间,如何解决如此庞大的存储需求是一个难题。本文利用分布式结构,通过将大量廉价的计算机组合在一起构成一个庞大的存储空间。满足存储需求只解决了一方面问题,庞大的数据存储在计算机,如何将其组织以便用户可以方便使用是本文要解决的另一难题。本文采用索引技术对数据进行组织,有了索引的数据库可以大大加快对数据的访问。针对网络数据信息的多维性,本文采用位图索引。因此,本文实现了一个基于位图索引的,针对网络数据包的,分布式的,快速索引存储系统。在系统中,有两个重要概念blobs和tags,它们负责系统中的数据的分布、复制、持久、寻址以及访问。利用该系统可以将捕获的网络数据包中包含的一些重要信息截取下来,依据这些重要信息建立其位图索引;采用内存映射的方法对数据进行加工存储;整个系统基于Map Reduce的编程模型;存储的信息可添加副本分布于整个分布式系统的不同服务器上,增强系统的可靠性;系统中的服务器可随意加入和离开,使得系统具有良好的扩展性;系统中的各服务器端都可以进行独立插入和查询操作,很好地支持多用户。本文使用几台较为低端配置的计算机实现了本系统,使用从真实网络中捕获的网络数据包对本系统进行了性能测试,测试实验得到了较好的结果:单台计算机的插入速率大约每秒30,000条记录,查询效率大约每秒5,000,000条记录;N台计算机并行执行时,其效率为单台计算机效率的N倍。
其他文献
推进剂的燃烧性能包括燃速和压强指数,对增产弹的压裂效果有直接的影响,添加燃速调节剂是调节推进剂燃烧性能的最佳选择之一,其用量少,活性高,效果好。而研究燃速调节剂对推
蓝思科技(长沙)公司作为电子终端配套产品生产型企业在全球化进程加快,中国经济地位上升的背景下迎接着新的挑战与机遇。然而世界经济大环境的恶化,也促使公司必须向“第三利
如今,在工业生产中扮演重要角色的工业厂房建设规模越来越大,将荒废面积最大的屋顶空间利用起来建设屋顶花园,将是未来的一种设计方向。预应力钢桁架在传统非预应力平面桁架结构的基础上通过合理的引入预应力拉索以使多数杆件卸载、降低内力峰值或提高结构刚度,因其以更轻的自重提供更高的承载力被广泛应用在大跨度钢结构中,然而在类似屋顶花园的大跨度、重荷载屋盖结构中却鲜有预应力钢桁架结构的相关应用研究。如今新建项目的
张大千先生是中国近现代绘画史上具有传奇色彩的绘画大师,他的绘画作品深受海内外广大书画爱好者的喜爱。近年来,艺术品市场上有关张大千绘画作品的收藏热度不断升温,现已出
会议
随着移动互联网和基于位置服务(LBS,Location-Based Services)应用的日益普及,空间数据量也在不断增长。这些迅速增加的空间数据给传统的空间数据索引机制带来了新的问题,而
目的:既往研究虽已证明肥胖和超重是肺癌的保护因素,但大多数只是观察单次体质指数(Body mass index,BMI)测量值或两次测量间的变化值对新发肺癌的影响,少有研究一般人群BMI长期的变化情况与肺癌发病风险的关联。因此,本研究以BMI轨迹为自变量反映BMI的长期变化情况,探讨其与肺癌发病风险的相关关系,并结合敏感性分析,探索BMI轨迹与肺癌风险之间因果关系。方法:第一部分基于一项大型研究数
疲劳开裂是钢结构常见病害之一。粘贴碳纤维增强复合材料(carbon fiber reinforced polymer,CFRP)加固疲劳开裂钢结构是一种新兴、快捷、耐久的结构加固技术,环氧胶粘剂为最常用的粘结材料。胶粘剂的性能对CFRP/结构界面粘结性能的影响显著。同时在碳纤维增强复合材料中,基体环氧树脂(EP)的性能直接影响复合材料的性能。因此,本文旨在研发出一种性能优良的环氧树脂胶粘剂。以往多
随着我国城市化进程的持续推进,城市精细化管理成为必然的趋势,传统的二维平面场景已不能满足当前城市规划管理的需求,以三维模型为基础的三维数字城市成为城市运行管理的“新宠”。与此同时,大规模的城市规划对三维模型的数字化、立体化、精细化的要求也越来越高,以构建高精度、离散三维要素的城市场景成为研究的热门。传统的城市三维建模方法存在效率低、现势性差、成本高等劣势,虽然采用无人机倾斜摄影技术可以实现快速高效
传统的钢箱-混凝土连续组合梁负弯矩区处于不利的受力状态,本文在NC翼板部分充填混凝土窄幅钢箱连续组合梁的基础上,进一步提出了UHPC翼板部分充填混凝土窄幅钢箱连续组合梁。该结构通过将负弯矩区的普通混凝土(Normal Concrete,NC)翼板替换为超高性能混凝土(Ultra-high Performance Concrete,UHPC)翼板来改善负弯矩区混凝土翼板过早开裂而退出工作的问题,进一
天津是中国地表沉降最严重的内陆城市之一。1923年首次发现地表沉降,至今最大累计沉降量超过3.4米。经过长期的治理,天津地区的地表沉降虽然得到了一定的控制,但形势依然十分严峻。因此,针对这种潜在的地质灾害,及时开展必要的地表沉降监测研究,并根据监测目标的形变信息等进行安全性分析和灾害预警,以避免或减轻灾害来带的损失,具有十分重要的社会效益和研究价值。合成孔径雷达干涉测量技术具有不受时间和气候影响的