基于Hadoop的网络性能测量数据存储方法的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:zexuan123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最近十几年,互联网爆炸式地发展,门户网站、搜索引擎、多媒体业务、电子商务、社交网络等应用快速发展,彻底改变了人们的生活方式,使得这个时代的人越来越离不开网络,对网络的性能和质量的要求也越来越高。为了更好地了解网络和优化网络,科研工作者们开发了针对各种网络性能指标的测量系统,部署在真实网络中获取最新的网络特征信息。一直以来,网络测量系统使用关系型数据库系统存储测量结果数据,数据量随着时间不断线性增长,使得数据库系统的压力逐渐增加,其有限的扩展能力限制了存储容量和计算能力,而商业解决方案不但复杂,而且费用昂贵。云计算技术的出现,旨在整合多机器的存储资源和计算资源,以满足应用系统的需求,其立足点在于系统良好的扩展能力所带来的高性能计算和大数据存储。   基于Hadoop的网络性能测量数据存储方法的研究,旨在有效地利用开源软件Hadoop和HBase系统一起构建底层的在线数据和离线数据存储服务系统,为网络测量系统采集的不同形式的数据提供存储支持。使用云计算平台取代传统的关系型数据库存储测量数据,有效地提升了存储系统的存储能力、扩展能力、计算能力和可靠性,并且很好地解决了存储系统的单点故障,满足测量系统长期测量对存储系统的需求,为测量数据的深入分析提供了一个基础平台。   论文首先介绍了本课题的相关背景、课题来源和主要研究内容,描述了相关的技术背景知识,较为详细地介绍了Hadoop和HBase两个存储系统的体系结构。然后描述了现有测量系统中采用的存储方案存在的问题和不足,分析了存储系统在扩展性、存储能力和计算能力的潜在需求,确定了基于Hadoop的数据存储方案的设计方案以及基于云计算的分布式网络测量系统的整体设计架构。接着,叙述了针对设计方案完成的具体实现方式。最后,在实验室的网络环境中,部署测试基于云计算的分布式测量系统,验证了本文的存储方案适用于测量系统,并提出了下一步工作计划。
其他文献
随着互联网上Web服务的大量出现,Web服务的应用也越来越广泛。如何从大量的Web服务中快速选取用户所需要的服务,成为了一个亟待解决的问题。当前的Web服务发现方法主要有基于关
微小卫星运行在恶劣的外太空环境中,承载着重要的任务,其运行特点及其在军事上的重要意义使其比一般系统具有更高的安全要求。星载嵌入式实时操作系统作为微小卫星系统的软件支
随着信息化建设的不断加强和计算机技术的深入发展,煤炭企业的信息化发展取得了长足的进步,基于各种开发平台所构建的软件系统在煤炭企业中得到应用,这些系统在功能、逻辑上
根据第二次全国残疾人抽样调查的结果,我国残疾人口总数为8296万,占全国人口的6.34%,我国残疾人口在全国各地均有分布,展现出了空间上高度的离散化。而管理这些残疾人相关的康复地
随着社会经济的发展,人们对地理信息的需求越来越多,也越来越多样化。计算机技术在地图领域的应用,也丰富了地图的展现能力,大大增加了地图能给人们提供的服务。人们常使用的公共
云计算是当今的热点话题,在工业界和学术界都得到了广泛的重视和发展。根据服务模式不同,云计算可分为三种类型:IaaS云(基础设施云)、PaaS云(平台云)和SaaS云(软件云)。本文主要
矩阵特征值问题作为线性代数的一个重要组成部分,是迅速发展的高性能计算领域中一个重要的研究问题,并在科学计算与工程领域中具有广泛和重要应用。而对称三对角矩阵特征值问题
从古至今,信息对于人类的生产生活等方方面面都是非常重要的,特别是对于处于信息时代的我们更是如此。随着互联网技术的飞速发展,互联网己成为我们获取各种信息的主要渠道,但
在互联网飞速发展的同时,网络安全问题也显得越来越重要。而Web应用作为当今世界上使用最广泛的一种应用,已经与生活中的方方面面联系起来。所以考虑Web应用系统的安全对于提升
虚拟化技术是现代互联网服务的重要基石。随着计算机硬件的发展,现代计算机上配备的内存越来越大,给单个虚拟机的性能和整个集群的内存利用提出了新的挑战。本文从内存的角度出