论文部分内容阅读
随着高能物理实验规模的不断扩大和实验复杂性的不断增加,会产生越来越多的数据,这些数据大多数以文件的形式存在,如何对这些海量数据文件进行有效的管理和使用是目前面临的难题之一。基于这个背景,本文对网格文件系统的体系结构、名字服务、动态复制和一致性维护等方面进行了深入研究,设计和实现了一个网格文件系统原型HEP-GridFS,目的是将异构的、动态变化的、大规模的网格存储资源虚拟成单一的、稳定的文件系统视图。
本文的主要工作包括:
1)设计了科学规范的网格文件系统体系结构;
2)提出并实现分布式名字服务器模型。其中,名字服务器在物理上完全分布,逻辑上互相协作共同完成名字服务功能。它有效解决了传统名字服务器在性能、单点故障和可扩展性等方面存在的问题;
3)在网格文件系统中引入了数据更新操作,并提出分离式读写锁(SWRL)设计方法来维护副本一致性。该方法突破了以往网格文件系统仅能支持只读数据访问方式的局限;
4)提出一种客户端动态自适应副本选择算法DSRS对副本选择进行优化,该算法能快速有效的定位合适的副本;
5)提出并实现可扩展网格文件访问接口GFAI,屏蔽多种网格文件访问/传输协议的具体细节,提供统一的接口,解决了网格文件传输/访问协议异构性的问题。