论文部分内容阅读
随着高性能计算的发展,大规模科学计算往往需要处理TB级甚至PB级的数据,这就对高性能计算机的存储系统提出了较高的性能需求。分布式文件系统的发展和应用有效地解决了集群系统中海量数据的存储问题,文件系统内部对于并行I/O的优化机制也在很大程度上提高了集群的I/O性能。
Lustre文件系统是在高性能计算领域部署的最为广泛的分布式文件系统之一,其特点主要有面向对象的存储方式、数据条带化存储和客户端对数据并行访问。本文介绍了Lustre文件系统在我校超算中心的高性能计算平台上的具体部署实现,对我校高性能计算平台的存储系统进行了性能测试,通过测试结果分析了存储系统的I/O瓶颈所在,提出了针对我校高性能计算平台的存储系统性能扩展的建议;分析了高性能计算平台上影响Lustre文件系统I/O性能的因素,如Cache、文件传输块大小等,为高性能计算平台上合理有效地部署分布式计算软件和编写并行应用程序提供了参考。
Lustre文件系统上客户端(Client)、目标对象服务器(OST)和元数据服务器(MDS)的分布式架构有效地解决了海量数据的存储问题,其条带化数据存储结构和客户端对数据并行访问的特点,使得Lustre文件系统上访问大文件时有很高的I/O性能。但Lustre文件系统上访问小文件时,Client与MDS的交互延迟使得Lustre文件系统上小文件的I/O性能非常低下。本文提出一种在Lustre文件系统上建立小文件存储池的方法,来优化Lustre文件系统上小文件的I/O性能。通过将小文件存储池挂载到计算节点上,结合Lustre文件系统的客户端对元数据缓存的特点,挂载节点上的应用程序在访问小文件存储池中的文件时可以避免和元数据服务器进行交互,而是直接与负责数据存储的目标对象服务器通信。实验数据表明,挂载节点对小文件存储池中的文件访问速度相对于Lustre文件系统上的小文件访问性能有了数量级的提升。
在研究了小文件存储池对挂载节点的小文件I/O性能的优化后,本文提出了通过NFS协议来实现小文件存储池网络共享的方法。通过NFS协议共享的小文件存储池可以分布地挂载在多个客户端和目标对象服务器上,当客户端访问小文件存储池中的文件时均不需要与Lustre文件系统上的元数据服务器进行交互,可以有效地降低元数据服务器的工作负载。实验数据表明,计算节点通过NFS协议来访问小文件存储池中文件的性能高于Lustre文件系统上小文件的访问性能。