论文部分内容阅读
机群文件系统作为缓解机群系统I/O瓶颈问题的手段,需要为机群系统的各类应用提供高性能、可扩展的文件服务,因此对机群文件系统的研究是高性能计算机体系结构研究的重要内容。本文结合曙光机群文件系统DCFS的设计和实现,对机群文件系统设计的关键问题进行了讨论,并针对机群文件系统服务器设计的几个问题进行了研究。本文的主要工作如下:1.本文对机群文件系统的体系结构进行了总结,提出了多文件系统卷的结构,该结构具有可扩展、易管理、灵活的特点;本文对多文件系统卷中存储服务器的网络存储分组的组织形式进行分析,提出了网络存储分组模型,并讨论了影响存储分组读写性能的因素;对元数据服务器的组织和元数据的分布与映射策略进行了讨论,给出了可调粒度的元数据分布策略,使得用户可以根据应用程序的模式灵活选择文件系统卷的元数据分布粒度。2.作者对目录操作中的两个问题进行了研究:(1)元数据目录缓存管理;(2)大目录优化。独立的元数据服务器使设计者可以根据目录缓存的特点设计合理的管理方法,作者通过研究发现,客户端目录缓存和元数据服务器上的LOOKUP目录缓存和READDIR缓存构成了一个多级的目录缓存结构,元数据服务器上的LOOKUP缓存和READDIR缓存表现出了不同的访问特性,作者根据LOOKUP缓存和READDIR目录缓存的特性提出了目录缓存的管理方法,试验表明该方法较采用LRU、LFU和FBR替换算法的缓存管理方法具有更高的缓存命中率。作者和本研究小组成员合作对大目录优化进行了研究,提出了LMEH动态HASH的目录管理算法,在DCFS上的试验表明,对于大目录下的元数据吞吐率性能,该方法较线性的目录管理算法平均提高了1.97倍。3.作者结合DCFS元数据分布策略和元数据缓存管理设计了元数据一致性协议,该协议保证了元数据一致性,分析表明其开销是可以接收的。4.在曙光4000L上设计并实现曙光机群文件系统DCFS,给出了机群文件系统性能评价的方法,定义了读写带宽性能和元数据吞吐率的可扩展性度量。在曙光4000L上的测试表明,DCFS与类似结构的PVFS文件系统相比,在读写性能上,DCFS除了在小文件最高读带宽性能上比PVFS差19%,在其余情况下DCFS的最高聚合读写性能优于PVFS,平均高44.4%;DCFS元数据吞吐率的性能平均比PVFS高6.391倍;DCFS在综合负载测试中表现出比PVFS更好的性能,全局响应时间为PVFS的18.2%。