Lustre文件系统及其小文件读写性能优化的研究

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:ycyujing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统是当前热门的文件系统,以其高性能、高可靠性和高可扩展性成为高性能计算集群的文件系统首选,并成功的应用在天气预报、地震监控、物联网以及基因工程等海量数据处理的环境中。与传统的文件系统及存储系统相比,分布式文件系统不仅能为用户提供海量的存储空间和高聚合的I/O带宽,而且分布式文件系统具有良好的可扩展性,支持众多的客户端同时并发的访问系统。  Lustre是分布式文件系统的典型代表,同时也是高性能集群中应用最多的存储型文件系统。它采用模块化的结构框架,系统的每个功能模块并不是部署在同一台机器上,由于其结构功能的复杂性和影响系统性能因素的多样化,使得对Lustre文件系统的性能研究变得十分困难。本文根据Lustre文件系统的模块结构,从元数据服务器、对象数据存储、客户端以及网络环境四个方面分析影响Lustre文件系统的性能因素,从而提出一个了Lustre集群系统的七层结构模型。七层结构模型很好包含了Lustre集群系统的各个功能模块,将集群系统的功能结构归类,为Lustre文件系统的性能研究提供了很好的参考。从七层结构模型中提取出数据存储层、数据管理层、网络层以及应用层作为实验对象,分别测试OST数量、Client数量、MDS服务线程数、OST上条带宽度以及不同带宽的网络设备对Lustre集群性能的影响,这对Lustre集群的系统使用参数设置具有一定的指导作用。  因为Lustre文件系统是采用元数据与对象存储数据分离的存储方式,每次对系统存储的数据进行I/O访问时,都需要先与MDS进行交互以取得对象数据的元数据信息。对于小文件的I/O来说,这一过程额外的增加了网络传输的开销以及元数据服务器的访问开销,并且由于小文件本身较小,实际I/O操作花费时间少,但额外增加的网络传输开销以及元数据服务器的访问开销在小文件的I/O操作总用时中所占比例较大,这在一定程度上造成了Lustre文件系统的小文件I/O性能不佳。鉴于Lustre文件系统每次I/O操作都需要先与MDS进行交互的模式,本文提出一个基于MDS节点的小文件缓存池机制,具体的实现方法是在MDS上的后备高速缓存区域内划分出一个4GB大的缓存空间作为系统小文件的缓存池,小文件缓存池里面缓存经常被访问的小文件,这样节省了Lustre文件系统的小文件网络传输开销以及访问时间,从改善了Lustre文件系统的小文件I/O性能。最后通过实验证明:在使用MDS缓存池方法改进Lustre文件系统后,系统的小文件I/O性能得到了较好的改善。
其他文献
学位
地图匹配是车辆导航的关键技术之一,它利用较精确的电子地图信息对带误差的原始定位数据进行修正,使车辆位置总是处于道路之上,不仅可以提高导航位置精度还能改善屏幕显示效果,其
卫星网络将服务于多种高带宽需求的业务(如高分图像近实时回传、跨区域分布式计算),这对网络的传输性能提出了较高要求。虽然随着星间链路技术的发展与星上处理能力的增强,卫星网
随着网络技术的迅速发展和系统功能的日益复杂,系统越来越需要一个可以信赖的计算环境来保证其中敏感信息的安全性、完整性和可靠性。系统不仅需要保证敏感应用程序自身代码的
学位
随着交通车辆的日剧增多,交通拥堵变得越来越严重,缓解交通拥堵成了目前迫切需要解决的问题。在缓解交通拥堵的过程中,智能交通技术快速地发展了起来。在智能交通技术快速发展的
学位
随着大数据时代的到来,基于大规模知识库的智能应用已逐渐成为工业界和学术界关注的热点。典型的智能应用如专家系统、语义搜索系统和个人智能助手等都利用了大规模知识库,并采
学位
海洋蕴藏了大量的资源和能源,随着陆地资源日益紧缺,人类的可持续发展将越来越多的依靠海洋。具有自主式、低噪声、大范围和长续航能力的水下滑翔机作为海洋环境监测平台逐步得