论文部分内容阅读
Linux集群系统以其良好的性能得到了广泛应用,但是其存储系统的I/O效率严重制约着系统整体性能的提升,对于石油勘探中的地震资料处理这类巨量计算、海量存储的应用,系统的I/O瓶颈更为突出。虽然引入分布式文件系统Lustre能在一定程度上提高I/O效率,但是Lustre本身也存在潜在的瓶颈,有待于进一步改善。
本文针对地震资料处理集群系统中存在的I/O瓶颈,将基于对象存储的分布式文件系统Lustre引入到集群中。在深入分析Lustre文件系统的基础上,针对Lustre的单MDS存在的系统瓶颈,提出了新的元数据管理策略,对其元数据的组织、管理以及读写操作做了一系列的优化,使得Lustre并行性能得到更好的发挥。通过深入分析Lustre的并发访问模式,设计并实现了热度算法,该算法考虑到数据在系统中的生命周期,通过参数热度阈值及时间周期的设置,使得该算法具有动态性,能够及时的判断系统中的热点元数据。通过MDS端缓存来减少直接访问磁盘次数,以减少元数据操作请求的响应时间,使系统获得更高的吞吐量,以减少单元数据服务器出现瓶颈的可能性。为了验证方案的有效性,搭建了一个基于Lustre文件系统的Linux集群,对参数T和I(a)以及性能进行测试。实验结果表明,引入基于二维表的元数据描述策略及热度算法之后,极大地缩短了元数据读写操作的响应时间,节省了系统的操作时间,使得I/O效率提高了五倍左右。为了进一步验证算法的有效性和稳定性,将本文设计的元数据描述策略及热度算法应用到实际地震资料处理集群中,实际应用表明,Lustre文件系统引入及热度算法的调用,使得系统对同一块资料的处理周期缩短为原来的三分之一,效率提高了近四倍。总之,Lustre文件系统能在一定程度上缓解I/O瓶颈,并且对其进行设计之后,能够更好的提高系统的I/O效率,进而提升系统的整体性能。