论文部分内容阅读
网格环境下的计算资源与数据资源是密不可分的,但由于计算机系统一般基于管理域组织文件资源,网格用户访问不同网格节点的文件资源受到不同管理域在用户认证、安全策略以及命名空间等多个方面的限制,导致网格环境下存储资源的管理与共享比计算资源共享更困难。存储资源异构、分布特性以及数据访问协议的不同也增加了网格统一文件管理的复杂度。
本文主要研究了跨管理域文件管理中的若干关键问题,包括网格存储资源管理问题,网格文件元数据管理问题以及网格文件共享语义问题。研究目标是组织网格环境下广域分布的物理存储资源,为应用与用户提供统一的网格文件空间和一致的文件访问接口。本文的主要贡献有:
1.提出了网格存储资源空间模型GSRS。GSRS模型由本地存储资源空间和网格存储资源空间构成,刻画了网格跨域环境下存储资源管理中的主体、客体及其间的关系与操作。GSRS模型的意义是对网格存储资源组织、管理与共享的正确性做出了精确定义,即存储资源网格权属与本地权属的一致性。基于GSRS模型,我们提出了以用户为中心的网格存储资源抽象—网格文件挂载点(MountPoint)作为最小存储资源组织管理单位,支持网格用户自治地组织与管理存储资源,并以社区为基础共享存储资源,构建网格存储资源空间。
2.为了在广域环境下同时保证网格文件元数据的访问性能与元数据一致性,提出了全复制多元数据服务器结构(Full Copy Multi-MetaData-Server Structure)。每个元数据服务器都存储了所有的元数据,通过本地化元数据访问提高操作性能;多元数据服务器间采用异步、增量的基于主副本的元数据分发策略与强制元数据同步机制,保证元数据的最终一致性。在元数据服务基础上,定义了以用户为中心的私有命名空间与以社区为中心的共享命名空间,为用户提供全局层次化网格文件命名空间。
3.针对分布式元数据操作的原子性保证问题,提出了简化两阶段提交元数据处理协议(S2PC-MDP)。网格文件重命名等操作涉及多个元数据服务器协作完成,我们将两阶段提交协议应用到分布式文件元数据处理,通过精简参与者数量和简化控制操作来减少分布式元数据处理中的消息通信,在保证分布式元数据一致性的同时降低分布式元数据操作的性能开销。
4.本文总结了网格文件共享模式,实现了面向数据传输的共享文件释放一致性与单点写多点读共享模式下的文件读写一致性,基于不可改变共享语义定义了网格文件共享语义。网格文件共享语义在文件属性可修改性、数据释放一致性以及文件操作对其他节点可见性延迟上对不可改变共享语义进行了放松。
基于以上的研究,本文以中国国家网格作为运行环境,在网格系统软件VegaGOS中实现了VegaArchive网格文件管理系统。实验结果表明VegaArchive在增加少量额外负载的基础上,实现了在网格环境下跨管理域文件管理的目标。