大规模分布式文件系统元数据管理子系统的设计与实现

被引量 : 3次 | 上传用户:fox007138
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统是云计算领域的核心技术。随着存储即服务这一云计算商业模式的出现,云端存储的数据量正在迅速增大,人们对数据安全、数据共享、数据管理等方面的要求也开始逐步提高。云存储服务提供商的后台正面临着巨大的存储压力。元数据是分布式存储系统中的一个概念,是描述所存储数据命名空间和属性的信息。由于元数据的性质及其操作方式较普通数据复杂,对性能、并发性、安全性的要求极高,因此,对系统中元数据的管理一直是分布式存储系统设计的重点和难点。本文以自行开发的大规模分布式文件系统C-STORE为背景,详细阐述了其元数据管理子系统的设计与实现。该子系统利用三层散列机制进行架构,将元数据分桶存储并进行负载均衡调度,使系统具备了较好的可扩展性。在存储上,元数据管理子系统充分利用了本地文件系统的高效特性,尽可能的提高各方面性能;在组织上,元数据基于用户进行隔离,为用户的数据安全提供了保障。有效且完备的日志管理和同步被设计出来,满足用户多点登录时文件系统的一致性需求。该子系统还引入了Master-Standby双副本同步机制,保证了系统元数据的可用性。元数据管理子系统通过C++在Linux环境下采用异步事件驱动这一高效网络编程模型实现,充分利用服务器的软硬件资源,提升了系统的吞吐量。经测试,元数据管理子系统可以充分满足用户对面向公有云存储服务在元数据管理各方面的需求。在性能上,相较于当前业界已经十分成熟且广泛使用的PVFS,优势明显。
其他文献
麻疯树(Jatropha curcas Linn)属于多年生草本产油植物,其种子含油量高,是国际上研究最多的产油植物之一。麻疯树种子油碘值低,可做为工业用油适用于各种柴油机,然而目前生物柴油发
对于长期以来一直以粗放管理著称的电力施工企业而言,建立起一套符合自身特点的信息化企业经营管理控制标准体系,以及具体的操作流程及方法就显得尤为必要和极其重要。目前电
美国联邦通信委员会(FCC)于2002年2月批准超宽带(UWB)系统的商用频段频为3.1-10.6GHz。超宽带系统由于其高的数据传输速率、大的信息容量、低功耗等优点吸引了学术界和工业界的广
发达的铁路运输一直以来被人们当作是推动经济发展的重要因素。近年来,为了更好的推动我国的经济发展,列车行驶速度加快,行车密度加大已成为铁路运输必然的发展趋势,但伴随而来则
在线图书管理系统是最近随着互联网络的发展而发展起来的一种新型的图书营销模式。随着计算机网络的发展和人们精神需求的提高,现在的图书销售已经不是单一的实体店销售模式了
机器学习是当前人工智能领域中新兴的研究热点,已在机器视觉、语音识别、自然语言处理、网络搜索、推荐系统、智能机器人等复杂系统中获得成功应用。尤其是近两年基于人工智能
根据相关数据和资料显示,中国已经全面进入互联网时代,科普信息化建设面临着前所未有的新形势、新挑战,博物馆的科普信息化建设势必也需要得到提升,进入一个新的发展阶段.互
通过对福建省闽侯白沙地区的5个橄榄品种(品系),即‘长营'、‘小个子'、‘大个子'、‘梅圤2号'、‘林峰'进行品质成分测定分析比较,包括总糖、可滴定酸、蛋白质、可溶性固形物、单宁
总起分承式结构(简称“总分结构”)能使前后文照应得更加紧密连贯,因此,总分结构已成为很多考查连贯的高考语句衔接题最重要的设计元素,掌握了这一命题特点就能运用排除法快速准确
本文对传输普通汇聚节点机房的现状进行了分析,找出目前存在的问题,并给出几种瘦身的方式方法。