论文部分内容阅读
海量存储系统中需要保存Terabyte、Petabyte级别甚至更大规模的数据。数据的元数据如文件的名字、属性、保存地址和访问授权等信息一般由元数据服务器进行管理。在访问海量存储系统的数据前,需要首先查找和获得元数据。因此元数据管理机制将直接关系到海量存储系统的I/O性能。现有的海量存储系统一般采用目录层次结构和哈希算法管理元数据,存在修改元数据和查询目录等操作所需时间和空间开销大等问题,也没有针对海量存储系统中元数据访问特性的优化机制,严重制约了海量存储系统的I/O性能。本文在分析海量存储系统中元数据管理特性的基础上,引入DBMS技术以及数据分级的方法,提高管理元数据的效率。论文的具体工作包括:首先引入二维表保存系统中的元数据信息,提出了基于DBMS的新型元数据管理策略,给出了各类元数据操作的流程;分析了在海量存储系统中用于管理元数据信息时所需的时间和空间开销以及适应不同运行环境的能力;实现了基于DBMS元数据管理策略的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明基于DBMS的元数据管理策略能有效地减少管理元数据所需的时间和空间开销,提高管理元数据的灵活性,增强适应能力。在分析海量存储系统中元数据时间特性的基础上,依据元数据的生命周期,设计了元数据分级算法,将元数据分为活跃元数据和非活跃元数据;设计了分区索引算法,提高查询活跃元数据的性能;改进了基于哈希函数的索引方法,设计了非活跃元数据的索引算法,减少了管理非活跃元数据所需的时间与空间开销;从查找元数据与更新索引所需的时间与空间开销两方面进行了分析,验证了其能有效地减少了查询元数据和更新索引所需的时间和空间开销;实现了元数据分级索引算法的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明元数据分级索引算法能有效地提高查询元数据的性能。