分布式文件系统可扩展元数据服务关键问题研究

来源 :中国科学院研究生院(计算技术研究所) | 被引量 : 6次 | 上传用户:lala601
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文件系统元数据描述文件系统及其管理的文件,其访问效率是文件数据访问性能的关键因素。在海量网络存储环境中,随着系统应用的多样化、应用需求规模的不断扩大,如何充分利用系统资源,提供高扩展能力的文件系统元数据服务,成为大规模分布式文件系统研究的热点问题。多种典型应用的访问统计结果表明,文件系统元数据具有活跃性、局部性、动态性、需要更改文件系统的多元数据请求的比例很少等特点。基于此特性,本文的主要创新点是,提出动态灵活的分布式文件系统元数据服务机制和策略,支持文件系统元数据服务的动态扩展。它包括元数据存储和访问两个方面:1)集中共享的元数据虚拟存储模型。以虚拟存储技术支持的存储资源透明扩展、分层的存储资源管理和动态的元数据资源分配、元数据对所有请求服务器可见等为基础,元数据存储服务有效分离元数据的存储和访问,为动态灵活的元数据请求服务提供支持。2)动态灵活的元数据请求服务机制和策略。文件系统元数据表现出活跃性、局部性和动态性等特征。动态分布决策将文件系统名字空间结构与元数据类型相结合,由用户访问动态驱动活跃元数据的请求分布。初步的对比评估结果表明,相对于目录子树分区法,其请求处理能力将提高30%左右。动态灵活的元数据服务机制为服务扩展能力提供基础。为解决两阶段提交等传统协议的不足,本文提出通过动态迁移协议,集中处理跨服务器请求,有效保证请求的原子性。在最坏情况下,动态迁移协议也能够减少25%的处理时延,且其错误恢复的影响也小得多。针对传统和新兴应用的实验验证了元数据服务扩展能力的有效性。针对生物信息计算BLAST的评估表明,元数据服务器的增加将带来20%左右的元数据服务时间降低。通过对系统实现的优化,将可能获得近线性的元数据服务扩展能力。同时,实验结果还为未来的工作方向提供了参考:1)原型系统的实现优化;2)自适应的元数据请求分布决策模型;3)系统结构的优化,以更好支持超大规模的系统扩展需求。
其他文献
分布式流量调节将风洞试验中的进气道出口后的流动转化为多个区域的流动,通过调整导流片组合之间的相对位置,改变导流片组合之间不同区域的流通面积,实现流体流量的调节。利
气固两相颗粒喷射技术应用广泛,故对其影响因素的研究具有重要的工程意义。首先利用正交实验设计原理对压强与质量2个因素进行安排实验;然后基于CFD-DEM模型利用FLUENT进行数
在中华民族多彩多姿的艺术文化园中,绣花布鞋堪称其中的一朵奇葩。在今天这样一个崇尚传统精髓,追求自然健康的时代,已沉寂了若干年的绣花布鞋开始重出江湖,再领风骚。宁波象
返回值敏感型函数是一类常见的安全敏感函数,错误使用返回值敏感型函数会导致潜在的安全风险。通过人工从源代码项目中识别返回值敏感型函数存在效率低、易出错的问题。基于
以空气和水为工质,在直径3.0mm的水平圆管通道内进行压差波动信号实验研究。根据压差波动信号图及高速工业相机拍摄的流型图,结合相空间重构、Lyapunov指数判别法对压差波动
根据大量的实践经验,通过不断总结和分析对比,总结出如下的切实可行的作业程序和相关应用技术,供相关油田施工参考和借鉴。
煤的可溶化体系是煤化学族组成研究的前提和关键,通过从高抽提率、溶剂回收性、普遍适应性、快捷省时、方便准确等方面综合考察溶剂选择、溶剂组合方式、溶剂抽提方式等因素
软件定义网络(Software Defined Network,SDN)是一种新的计算机网络架构,能够适应网络规模不断增长的趋势,已得到广泛部署。但SDN独特的架构引入了新的攻击面,攻击者可以针对
针对低渗油气藏水力压裂裂缝通常采用直角网格加密模拟准确性不高的问题,采用了油藏数值模拟中的新型网格结构——PEBI网格来模拟水力裂缝.在充分认识水力裂缝渗流机理的基础
相依网络鲁棒性研究多集中于无条件双向相依边,即相依边一端节点失效另一端节点也失效,但现实网络中依赖关系可能不对称,相依边两端节点有主次之分,重要节点失效必定导致次要