一种新型元数据存储系统的设计与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:sisi830710
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息科技的高速发展、“互联网+”时代的到来,网络上存储的数据越来越大,传统的存储方式已经不能满足需求,分布式文件系统成为主流。分布式文件系统将元数据和数据分开存储,元数据存储系统成为连接用户和数据存储服务器的桥梁,因此元数据存储系统的性能高低对整个系统至关重要。目前存在的元数据管理方案都存在一些缺陷无法解决。针对元数据存储系统的设计目标和现存的一些缺点,本文提出了一个新型的元数据存储系统。  本文针对现存元数据管理方案中存在的缺点,设计一个新型的元数据管理策略,主要对两个方面做了研究,分别是:元数据的负载均衡策略、元数据的局部一致性策略。对元数据的负载均衡的研究主要包括两方面,一是元数据分布的静态负载均衡,二是系统运行中的动态负载均衡。本文对一致性哈希算法进行优化,采用优化后的哈希算法将元数据分布到各个元数据服务器上,保证了元数据的均匀分布。当系统运行中出现了负载不均衡现象或者元数据服务器集群的规模需要进行调整的时候,该策略会将负载较高的元数据服务器上的元数据移动到负载较低的元数据服务器上,通过元数据的迁移,改变用户访问的服务器,降低其访问热度,充分利用元数据服务器集群的资源,保证整个系统的负载均衡。使用哈希策略的结果是,重命名操作会引起元数据存储位置的变化,本文采用了基于目录路径重定向表DPRT的元数据延迟移动策略,保证系统在元数据大规模移动时,系统效率不会受到影响。  另外本文还对系统的可靠性进行了研究,设计基于冗余机制和日志机制的可靠性保障策略,通过对元数据服务器管理者使用冗余机制备份,元数据服务器使用日志机制备份来保证系统的可靠性。  最后,本文实现了一个新型的元数据存储系统的原型,并对系统的吞吐量、用户操作延迟、系统负载均衡以及元数据迁移量进行了测试,实验表明在线程数目相同时系统的吞吐量会随着元数据服务器的增多而得到提高,用户延迟也会明显降低,重命名时元数据迁移量也会成倍降低,并且系统可以较好的实现负载均衡,具有高可扩展性、负载均衡等优点。
其他文献
密码学是信息安全的核心基础,密码算法的安全性是各类信息需求的基本保障。随着计算机能力的不断提升,自动搜索算法在密码的设计与分析中发挥了重要作用,成为密码学研究的一大热
人工神经网络是一个优越的通用逼近器,且得到了很好的发展和应用。但是由于存在一些缺陷,如“黑箱”特性和忽视存在的先验信息,神经网络的发展和应用受到了很大程度上的限制
近年来随着Web2.0技术的发展,以在线视频分享网站中的网络视频集为研究目标的网络视频检索技术逐渐成为研究的热点。由于网络视频内容丰富且质量参差不齐,传统的基于内容的视
移动存储介质因其快捷、灵活、简便等优点,成为信息交换存储的重要载体。在国家涉密部门如党政军、科研等机构中有大量的涉密文件不允许采用网络方式传输,只能依赖于各种有保密
星空场景实时仿真在空间探索、通讯导航、遥感探测等领域有着重要的应用价值。随着航天探测技术的快速进步,星空场景仿真正朝着大规模和实时快速的交互式方向迅速发展。  
当前海量小文件访问性能瓶颈是现有分布式文件系统需要解决的问题,其主要表现在高比例元数据并发访问和高随机小粒度数据I/O访问。针对这些问题,本文以pNFS分布式文件系统为
随着互联网的快速发展,互联网上的信息量越来越大,出现了严重的“信息过载”问题,使得用户在面临如此多的信息量往往无所适从。推荐系统主要是对用户与物品之间的交互行为进
随着计算机网络的迅速发展,网络规模越来越庞大,网络中的各种应用和业务数量都在快速增长。在这样的环境下,网络流量数据的分析对全面了解网络服务状况,提升网络服务质量、网
卫星遥感是人类对地观测、分析、描述的有效手段。近年来,随着传感器技术的不断发展,遥感数据获取呈现出多分辨率、多平台的特点。遥感数据的分辨率已达到米级、亚米级。高分辨
随着信息呈爆炸式增长,越来越多的公司和组织部署私有云系统来处理大数据。私有云大数据分析类应用的这种新型负载给体系结构设计带来了新的机遇和挑战。Benchmark是量化体系