Lustre文件系统在高性能计算平台上的性能测试与优化

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:liuliea
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高性能计算的发展,大规模科学计算往往需要处理TB级甚至PB级的数据,这就对高性能计算机的存储系统提出了较高的性能需求。分布式文件系统的发展和应用有效地解决了集群系统中海量数据的存储问题,文件系统内部对于并行I/O的优化机制也在很大程度上提高了集群的I/O性能。   Lustre文件系统是在高性能计算领域部署的最为广泛的分布式文件系统之一,其特点主要有面向对象的存储方式、数据条带化存储和客户端对数据并行访问。本文介绍了Lustre文件系统在我校超算中心的高性能计算平台上的具体部署实现,对我校高性能计算平台的存储系统进行了性能测试,通过测试结果分析了存储系统的I/O瓶颈所在,提出了针对我校高性能计算平台的存储系统性能扩展的建议;分析了高性能计算平台上影响Lustre文件系统I/O性能的因素,如Cache、文件传输块大小等,为高性能计算平台上合理有效地部署分布式计算软件和编写并行应用程序提供了参考。   Lustre文件系统上客户端(Client)、目标对象服务器(OST)和元数据服务器(MDS)的分布式架构有效地解决了海量数据的存储问题,其条带化数据存储结构和客户端对数据并行访问的特点,使得Lustre文件系统上访问大文件时有很高的I/O性能。但Lustre文件系统上访问小文件时,Client与MDS的交互延迟使得Lustre文件系统上小文件的I/O性能非常低下。本文提出一种在Lustre文件系统上建立小文件存储池的方法,来优化Lustre文件系统上小文件的I/O性能。通过将小文件存储池挂载到计算节点上,结合Lustre文件系统的客户端对元数据缓存的特点,挂载节点上的应用程序在访问小文件存储池中的文件时可以避免和元数据服务器进行交互,而是直接与负责数据存储的目标对象服务器通信。实验数据表明,挂载节点对小文件存储池中的文件访问速度相对于Lustre文件系统上的小文件访问性能有了数量级的提升。   在研究了小文件存储池对挂载节点的小文件I/O性能的优化后,本文提出了通过NFS协议来实现小文件存储池网络共享的方法。通过NFS协议共享的小文件存储池可以分布地挂载在多个客户端和目标对象服务器上,当客户端访问小文件存储池中的文件时均不需要与Lustre文件系统上的元数据服务器进行交互,可以有效地降低元数据服务器的工作负载。实验数据表明,计算节点通过NFS协议来访问小文件存储池中文件的性能高于Lustre文件系统上小文件的访问性能。
其他文献
科学计算网格软件SCE的开发源于“超级计算环境建设与应用”,利用SCE将院超级计算环境中的总中心、分中心和所级中心互联起来,屏蔽底层高性能计算机的异构性,实现统一的资源管理
互联网具有极强的复杂性,因此要通过研究互联网的拓扑进而改进互联网的设计,改善互联网的性能,就必须对互联网的宏观拓扑进行研究。近年来人们在该领域取得了长足的进展,发现
实时系统对任务的执行时间有着苛刻的要求,因此需要保证系统在最坏情况下也能够满足时间需求,这就需要知道任务最坏情况执行时间(Worst-Case Execution Time, WCET)。Cache作
目前,旅游信息平台主要以旅游门户网站的形式存在,其中的功能千篇一律,主要包括“旅游景点介绍”、“酒店预订”、“机票预订”、“自驾游”、“旅游地导航”等功能。但随着
随着互联网的飞速发展,互联网病毒传播也随之成为一个全球性问题,为了更好地应对互联网病毒传播,有必要对互联网上的病毒传播行为进行深入的分析。互联网本身作为一个典型的
随着虚拟现实技术的发展、数字化人体运动仿真技术的日趋成熟,大规模人群运动仿真技术开始成为虚拟人合成领域新兴的研究热点。利用群体模拟技术,在计算机生成空间中创建并模
随着多核时代的到来,处理器运算能力的发展进入了一个黄金阶段。随之而来的“存储墙”问题也越发的严重了。在共享总线的多处理器体系结构中,内存是一个很重要的共享资源。多
随着信息技术的发展,人们在生产实践中需要处理的三维体数据日益增多。直接体绘制技术是三维体数据可视化重要的方法之一。它的最大特点是不需要从体数据中提取任何中间图元而
运行在网络环境中的软件系统通常由分布在不同网络节点上的软件实体组成,并基于一定的异步通信协议进行分布式协同工作,实现各种软件功能。对于这样的复杂软件系统,一致性测试仍
随着计算机硬件体系结构的不断发展,多核集群逐渐成为当今高性能计算机的主流架构。在2010年11月的全世界500强排名中,82.8%的超级计算系统使用集群体系结构,并且绝大多数的系