大规模时间序列数据存储系统的研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sdfsdffsgf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时间序列数据,即一段时间内以固定的时间间隔采集的数据点的序列,已成为生产生活中重要的信息记录形式。RRDtool是当今被广泛使用的一种存储时间序列数据的数据库工具,但是基于RRDtool构建的时间序列数据存储系统在处理大规模数据业务时I/O负荷较重,单位时间内能够处理的RRD文件数量不能满足需求等问题;同时,数据量的迅速增长要求存储系统的容量具有较好的扩展性,特别是能够在不影响系统在线工作的情况下调整存储容量;另一方面,考虑到系统可能发生异常或部分受灾,需要一种在这些情况下能保证系统可用性的存储方案。针对上述问题,本文研究并实现了一种面向大规模时间序列数据的存储系统。构建该系统的关键部分是mem-RRD和MooseFS,前者是对RRDtool的改进实现,I/O性能更好;后者是一种分布式文件系统,可以保证存储系统的可用性和扩展性。本文首先介绍了一种命名为mem-RRD的基于用户空间缓冲的RRDtool改进方案的设计和实现过程;然后给出利用mem-RRD和MooseFS构建和部署面向大规模时间序列数据的存储系统的方案,最后针对该存储系统的I/O性能、可用性和扩展性进行了详细的测试,并对测试数据进行对比和分析。测试结果证明,基于mem-RRD和MooseFS构建的面向大规模时间序列数据的存储系统在I/O性能、可用性、容量扩展性等方面都有较大改进或较好表现。
其他文献
自2010年起,立体显示技术再一次受到人类的关注,并在几年内得到迅速发展。但与此同时,其显示质量、立体感以及观看舒适度始终不尽人意。其中阻碍立体显示技术普遍应用的一个重要
学位
随着智能终端的广泛使用与移动互联网业务在各行业中的渗透发展,移动通信业务流量快速增长,从而导致了频谱资源的极度紧张和通信系统能耗的大幅增加。为此,5G技术提出将绿色通信
物体检测是计算机视觉研究领域里一个非常基础但极富挑战性的课题,与计算机视觉中的许多研究内容联系紧密。物体检测拥有广阔的应用背景,是基于内容的图像检索、视频监控、物体
实际工程应用和科学研究中,许多问题具有约束性、复杂性、多局部极值、非线性和建模困难等特点,寻找适用于各种不同需求的新型智能优化方法一直以来是很多专家学者的一个重要研
学位
设置在海岛,山区,偏远乡村等地的通信基站市电供应不便或供电状况不稳定,一般采用大容量蓄电池为其供电。但是,由于蓄电池供电持续时间短,放电过深会导致蓄电池寿命减少,故需用一台
随着互联网的迅猛发展,在全球各地每时每刻都在产生大量的推特数据信息。如何在这大量数据中去筛选满足用户需求的信息变得尤为重要,查询扩展方法在推文检索中广泛应用,可以
海洋混响与复杂的海洋信道是主动声纳波形选择面临的一对矛盾。单一的声纳波形很难兼顾抗混响性能与适应复杂海洋信道的匹配滤波性能。本文研究通过具有正交特性的组合波形设
随着移动互联网的高速发展,智能终端设备的不断普及,用户地理位置信息的获取变得十分便捷。这些位置数据通常包含大量信息,这些信息对于分析、预测人类的行为模式有着极为重