Lustre集群文件系统元数据管理策略的研究

来源 :中国石油大学(华东) | 被引量 : 0次 | 上传用户:kingwill
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Linux集群系统以其良好的性能得到了广泛应用,但是其存储系统的I/O效率严重制约着系统整体性能的提升,对于石油勘探中的地震资料处理这类巨量计算、海量存储的应用,系统的I/O瓶颈更为突出。虽然引入分布式文件系统Lustre能在一定程度上提高I/O效率,但是Lustre本身也存在潜在的瓶颈,有待于进一步改善。   本文针对地震资料处理集群系统中存在的I/O瓶颈,将基于对象存储的分布式文件系统Lustre引入到集群中。在深入分析Lustre文件系统的基础上,针对Lustre的单MDS存在的系统瓶颈,提出了新的元数据管理策略,对其元数据的组织、管理以及读写操作做了一系列的优化,使得Lustre并行性能得到更好的发挥。通过深入分析Lustre的并发访问模式,设计并实现了热度算法,该算法考虑到数据在系统中的生命周期,通过参数热度阈值及时间周期的设置,使得该算法具有动态性,能够及时的判断系统中的热点元数据。通过MDS端缓存来减少直接访问磁盘次数,以减少元数据操作请求的响应时间,使系统获得更高的吞吐量,以减少单元数据服务器出现瓶颈的可能性。为了验证方案的有效性,搭建了一个基于Lustre文件系统的Linux集群,对参数T和I(a)以及性能进行测试。实验结果表明,引入基于二维表的元数据描述策略及热度算法之后,极大地缩短了元数据读写操作的响应时间,节省了系统的操作时间,使得I/O效率提高了五倍左右。为了进一步验证算法的有效性和稳定性,将本文设计的元数据描述策略及热度算法应用到实际地震资料处理集群中,实际应用表明,Lustre文件系统引入及热度算法的调用,使得系统对同一块资料的处理周期缩短为原来的三分之一,效率提高了近四倍。总之,Lustre文件系统能在一定程度上缓解I/O瓶颈,并且对其进行设计之后,能够更好的提高系统的I/O效率,进而提升系统的整体性能。
其他文献
无线传感器网络(WSN)节点的计算、通信和存储能力都十分有限,以及WSN的事件突发性和固有的多到一、多跳的通信模式使其在数据传输过程中经常发生拥塞。拥塞不仅导致数据包的
随着Internet技术和图形图像学的飞速发展,网络多媒体信息呈爆炸式增长,而原始的文本检索技术已不能满足人们日益增加的知识需求,因此近年来基于内容的三维模型检索成为了一
近些年来,随着计算机技术和软件开发技术的发展,软件及其相关产品能够更加方便和广泛的传播;随之而来的软件版权保护问题也越来越引起了人们的关注,软件篡改,盗版,逆向工程等等都给
随着现代计算技术的大力发展以及计算机软件在社会各领域中的广泛应用,软件的规模不断扩大,系统的复杂程度也变的越来越高,在软件运行中表现的新特性为运行的动态性、执行过
随着我国人地矛盾的日益尖锐,不仅需要对现有土地资源做好节约集约的开发利用,更需要对未利用地进行科学、合理的开发与利用。开发利用低丘缓坡地资源是缓解人地冲突、实现土地
长期以来,汽车工业作为国家重点投资和发展的产业取得了一定的成绩,经过建国50年的发展,我国汽车业已经具备了较好的产业基础,汽车总产量己跃居世界第1位,汽车工业对国民经济发展
社会保险审计是关乎国计民生的重大事情。有效的审计措施能够及时发现社会保险缴纳是够违规,来维护劳动者的合法权益。目前审计手段主要有人工审计和计算机审计。其中人工审
计算机网络已经潜移默化地改变了人们的生活方式,人们在享受技术进步带来的便利的同时,逐渐地对远程平台的安全性提出了质疑。为保证计算机网络提供服务的同时具有较小的安全
移动机器人三维环境建模有着重要的研究价值和广阔的应用前景。在军事上,三维地形可视化能力可以为作战提供重要情报信息。在对未知或危险环境进行探索时,如进行太空、海底、
伴随着网络用户的急剧增加,网络拥塞控制问题显得越来越重要。然而传统的TCP拥塞控制协议是基于端系统的流量控制的,它们已经无法适应这些变化。微观经济学中效用和价格概念