海量存储系统中元数据管理机制的研究

来源 :江苏大学 | 被引量 : 7次 | 上传用户:dayongxue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量存储系统中需要保存Terabyte、Petabyte级别甚至更大规模的数据。数据的元数据如文件的名字、属性、保存地址和访问授权等信息一般由元数据服务器进行管理。在访问海量存储系统的数据前,需要首先查找和获得元数据。因此元数据管理机制将直接关系到海量存储系统的I/O性能。现有的海量存储系统一般采用目录层次结构和哈希算法管理元数据,存在修改元数据和查询目录等操作所需时间和空间开销大等问题,也没有针对海量存储系统中元数据访问特性的优化机制,严重制约了海量存储系统的I/O性能。本文在分析海量存储系统中元数据管理特性的基础上,引入DBMS技术以及数据分级的方法,提高管理元数据的效率。论文的具体工作包括:首先引入二维表保存系统中的元数据信息,提出了基于DBMS的新型元数据管理策略,给出了各类元数据操作的流程;分析了在海量存储系统中用于管理元数据信息时所需的时间和空间开销以及适应不同运行环境的能力;实现了基于DBMS元数据管理策略的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明基于DBMS的元数据管理策略能有效地减少管理元数据所需的时间和空间开销,提高管理元数据的灵活性,增强适应能力。在分析海量存储系统中元数据时间特性的基础上,依据元数据的生命周期,设计了元数据分级算法,将元数据分为活跃元数据和非活跃元数据;设计了分区索引算法,提高查询活跃元数据的性能;改进了基于哈希函数的索引方法,设计了非活跃元数据的索引算法,减少了管理非活跃元数据所需的时间与空间开销;从查找元数据与更新索引所需的时间与空间开销两方面进行了分析,验证了其能有效地减少了查询元数据和更新索引所需的时间和空间开销;实现了元数据分级索引算法的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明元数据分级索引算法能有效地提高查询元数据的性能。
其他文献
城市道路交通是智能交通系统的重要组成部分,其最大特点就是交叉口错综复杂,交叉口处的车流量之间相互影响,因此交叉口的通行状况将会直接决定道路的拥堵程度,道路交叉口已经
随着计算机应用范围的不断扩大和Internet的全球普及,在各种应用系统中积累了越来越多的数据,这就很容易造成了“数据爆炸”问题,它已经悄悄来到我们的身边,甚至更严重的“数
随着网络通信、计算机技术的快速发展,股市数据分析、天气预测、卫星监测、网络流量监控等多个领域都产生了数据流。由于数据流具有快速、连续与动态变化的特征,传统的数据挖
随着当今软件规模的日益发展,软件质量问题也日益突出,它可能造成软件成本不断增加、交付延期。软件产品质量的提高依赖于软件过程质量的提高,而软件过程缺陷度量能够保证软
过去十年中,视频中的动作识别一直是计算机视觉领域非常热门的研究课题。目前,最成功的动作识别方法大多为基于局部特征的方法,这些方法有类似的思想,也就是将视频表示为局部特征
本文以真实的网上银行系统项目为研究背景,根据网上银行系统总体开发目标、特点及系统项目建设要求,对网上银行系统的总体架构进行了设计与实现,包括J2EE软件体系架构、网络拓扑
本文针对当前地市级VHF/UHF频段无线电监测网络所存在的不足,根据信息产业部无线电管理局关于省级VHF/UHF无线电监测网的指导意见,通过对VHF/UHF频段的无线电波传播特性以及V
随着社会的发展,人们不满足于只对个体宏观层次的评价,而是希望能从被试的实际作答反应中获得更多有关被试认知结构的信息,以便对被试做出更具体更客观的评价,并且给出相应的
道路交通拥堵问题日益严峻,对经济、环境、交通安全、交通效率等造成诸多不良影响。虽然基于地磁线圈、视频等技术的传统智能交通应用在检测、缓解交通拥堵方面起到了重要作
地理信息与知识是组成客观知识世界的重要内容。互联网上大量的地理信息都以非结构化的文本形式存在,如何利用智能化的方法,从网页上不计其数的文本中获取知识,是当前知识获