论文部分内容阅读
随着高性能计算的不断发展演变,千万亿次高性能计算机已经成为当前的研究热点。超并行(HPP)体系结构作为面向高性能计算的新型体系结构,结合了MPP的可扩展性,DSM的高效通信和机群的普及化的优点,有效地支持了高性能计算。作为HPP系统一个组成部分,分布式文件服务是HPP体系结构研究中的一个重要问题。本文针对HPP体系结构的特性,设计并实现了一个HPP节点的分布式文件系统,并在HPP原型系统中进行了验证。论文对原型系统上分布式文件服务的系统结构、缓存分布及存取模式、预取算法、服务迁移等关键问题进行了深入的探讨和分析。主要研究内容包括:
(1)设计并实现了一个HPP节点上的分布式文件系统——StarFS。基于HPP体系结构的紧耦合环境,根据超节点内部对于计算单元与管理单元结合更加紧密的特点,设计了一种星形结构的双层分布式文件系统架构。该结构将文件服务分为两层结构,并在两层上分别设立高速文件缓存,有效地利用HPP体系结构的特性,提高了系统性能。
(2)提出了一种基于HPP节点的分布式文件服务缓存管理机制——同步更新的双层缓存管理机制。该机制利用本地缓存和高速内部网络,有效提高了系统性能,同时在缓存间实现了强的文件一致性,满足了节点操作系统单一系统映像对文件同步语义的严格要求。最后通过对多种缓存模型的分析,验证了在高速内部网络下该管理机制的可行性。
(3)提出了一种基于HPP双层架构的文件预读策略,并对其数据读取操作进行优化。StarFS利用HPP节点内双层架构,设计了双层缓存预读机制,并为所有进程文件在主核心保存预读信息,有效隔离了多客户访问对预读干扰,实现了细粒度的双层文件预读算法。本文采用数据读取请求的聚合优化技术,大大提升了数据读取性能,通过测试,该技术能够使数据读取带宽提高50%以上。
(4)提出了一种基于HPP节点的全局文件信息迁移机制。HPP节点操作系统支持进程在不同核心间的迁移。全局文件信息迁移机制为每个文件分配全局唯一的GFID,并设置相应的文件信息管理机制,有效解决了进程文件信息在不同节点间的迁移的问题。