论文部分内容阅读
最近十几年,互联网爆炸式地发展,门户网站、搜索引擎、多媒体业务、电子商务、社交网络等应用快速发展,彻底改变了人们的生活方式,使得这个时代的人越来越离不开网络,对网络的性能和质量的要求也越来越高。为了更好地了解网络和优化网络,科研工作者们开发了针对各种网络性能指标的测量系统,部署在真实网络中获取最新的网络特征信息。一直以来,网络测量系统使用关系型数据库系统存储测量结果数据,数据量随着时间不断线性增长,使得数据库系统的压力逐渐增加,其有限的扩展能力限制了存储容量和计算能力,而商业解决方案不但复杂,而且费用昂贵。云计算技术的出现,旨在整合多机器的存储资源和计算资源,以满足应用系统的需求,其立足点在于系统良好的扩展能力所带来的高性能计算和大数据存储。
基于Hadoop的网络性能测量数据存储方法的研究,旨在有效地利用开源软件Hadoop和HBase系统一起构建底层的在线数据和离线数据存储服务系统,为网络测量系统采集的不同形式的数据提供存储支持。使用云计算平台取代传统的关系型数据库存储测量数据,有效地提升了存储系统的存储能力、扩展能力、计算能力和可靠性,并且很好地解决了存储系统的单点故障,满足测量系统长期测量对存储系统的需求,为测量数据的深入分析提供了一个基础平台。
论文首先介绍了本课题的相关背景、课题来源和主要研究内容,描述了相关的技术背景知识,较为详细地介绍了Hadoop和HBase两个存储系统的体系结构。然后描述了现有测量系统中采用的存储方案存在的问题和不足,分析了存储系统在扩展性、存储能力和计算能力的潜在需求,确定了基于Hadoop的数据存储方案的设计方案以及基于云计算的分布式网络测量系统的整体设计架构。接着,叙述了针对设计方案完成的具体实现方式。最后,在实验室的网络环境中,部署测试基于云计算的分布式测量系统,验证了本文的存储方案适用于测量系统,并提出了下一步工作计划。