多元数据服务器环境下的元数据管理研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xcgxcgxcg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通常情况下用户请求分为数据请求和元数据请求。虽然元数据很小,但是在存储系统的操作中,元数据操作占50%到80%。因此,元数据的高效管理非常重要。而随着存储体系规模的增大以及数据访问密集度的增加,集中式元数据管理已经渐渐不能胜任。现今的高性能计算不仅对存储系统的I/O带宽和元数据处理性能提出了很高的需求,而且对存储系统的规模和扩展性也有很高的需求。单一的元数据服务器已经不能满足应用对规模和性能日益增长的需求。采用多元数据服务器是存储系统发展的必然趋势。在PB级的存储系统中,通常由数个元数据服务器构成机群来满足上万个用户的并发访问。元数据应该均匀地分配到各个元数据服务器上以保证一般情况下的负载均衡。在基于对象存储系统中实现了基于父目录对象号的哈希方法( Directory Object ID and Filename Hashing , DOIDFH )分布式元数据管理方案,它结合了子树分割和哈希方法的优点,可以将同一目录下的文件均匀地分布到多个MDS中,并部分保留了同一目录下的存储局部性。同时与子树分割方案进行了性能比较,结果表明DOIDFH方案下元数据服务器的负载比较均衡,并且系统响应速度以及吞吐量都优于子树分割方案。分布式存储系统的性能与元数据在多个元数据服务器上的分布情况密切相关,如果大量的访问集中于某些特定的元数据(热点),则系统性能会受到极大的影响。不同情况不同方案下热点问题的解决方式也不相同。通过在各服务器上寻找成为热点的元数据然后将热点元数据在其它节点上做镜像的方法减轻了元数据热点对系统性能的影响。
其他文献
将电子商务引入保险行业,是信息技术不断发展的结果。PICC电子商务平台是中国人民财产保险股份有限公司在市场经济的大环境下,本着以客户为中心的宗旨,为更好的拓展保险业务
目前,文本自动分类是信息检索领域中的研究热点之一,传统的文本分类方法是采用词作为特征构建特征向量,但是文本中词的数量非常大,导致了特征向量空间的维数非常高,因此需要
时间序列是一种重要的数据类型,在商业、医学、工程和科学等应用领域具有广泛应用。从生活实际中积累的时间序列数据库,记录了大量的重要信息。当前迫切需要提出有效的方法对
流量是工业生产中比较关心的一种物理量,因此产生了多种基于不同测量方法的流量计。科里奥利力式质量流量计(CMF),是当今世界广泛用于流体测量的一种流量计。科里奥利力式质量流量计在电路方面会包括以下两个部件:流量计变送器(固定的流量测量部分),流量计手操器(用于数据采集的移动手持设备部分)。由于一些传统的原因,以HART协议作为和变送器进行通讯的手操器目前占据了大部分的流量计手操器市场。本文从一种新的
对大规模场景的实时绘制是当前计算机图形学领域的研究热点。大规模场景由于数据量大,当前的图形硬件的处理速度难以做到对其进行实时绘制。一种常用的加速绘制的方法,是对场景
学位
无线ad hoc网络的发展为建筑行业和消防系统提供了有力的技术支持。Ad hoc网络是自组织网络,并且很好的支持网络中节点的移动性。因此项目组针对应用于建筑行业和消防系统的
基于内容的图像检索技术已得到了广泛的应用,但目前出现的基于内容的图像检索系统,多数只适用于某特定的应用领域,缺乏通用且具有实用性的图像检索系统。因此,在国产达梦数据
XML是标准的通用标记语言,它的半结构化特性、良好的可扩展性、自描述等特性,使它成为数据交换事实上的标准。XML的查询语言主要有XPath和XQuery两种。 传统的数据处理方式
数据挖掘技术在利用海量数据进行知识发现、决策支持等方面具有其他技术不可比拟的优势。目前,利用数据挖掘技术进行股票走势分析等方面的研究与应用已经比较成熟,与股票市场一