论文部分内容阅读
在信息时代,数据存储具有举足轻重的地位,存储已经开始成为关系企业生存发展的重要因素,如何构建一个高性能、高可伸缩、高可用、易管理、安全的存储系统成为目前所面临的一个重要课题。 基于对象的存储技术是存储领域的新兴技术,提出了一种新型的存储结构。对象是这种存储结构的核心,封装的元数据和文件数据分别由不同的系统管理。元数据包括文件的属性和访问权限,由元数据服务器管理;文件数据条块化存储于智能的对象存储设备;客户文件系统向用户提供存储系统的接口,可以与元数据管理系统交互和与对象存储设备直接进行数据交换。基于对象存储结构构建的大型分布式文件系统,可扩展性强、性能高,可提供较强的并发数据处理能力。 本课题主要研究对象存储结构中的元数据管理。元数据服务的扩展性和高性能对于对象存储结构至关重要,采用集群管理元数据是大型存储系统中元数据管理的一种趋势。本文采用一种新颖的结构实现层次管理元数据的元数据管理集群,分别以目录路径索引服务器集群和元数据服务器集群管理目录元数据和文件元数据,并研究其中的关键技术。 在研究集群负载均衡的基础上,设计和实现元数据管理集群静态负载分配与动态反馈重分配相结合的负载均衡方案。通过静态元数据分割算法,实现元数据服务负载分流或者元数据分布存储实现负载分流;服务器动态反馈服务器负载信息,实现不均衡负载重新分配。这样保证元数据管理集群的负载均衡,并解决“热点”数据访问问题。 另外,研究元数据管理集群中可用性问题,DPIS集群中采用共享容错磁盘阵列和节点容错机制解决共享存储数据和节点故障问题,MDS集群采用备份服务器保证服务器节点出现故障时元数据服务工作的接替和数据备份的重建,实现元数据管理集群在单点失效和特定的多点失效情况下的容错和恢复,保证系统的可靠性和可用性。