论文部分内容阅读
近年来，元数据集群文件系统中元数据服务负载不均衡现象时刻发生，严重影响系统性能和功耗，作为元数据服务均衡的基础机制，元数据服务迁移技术成为当前研究热点。蓝鲸集群文件系统(BWFS_pNFS)元数据服务迁移机制性能低下的原因有两点:一是元数据服务迁移时间与状态数目成正比，在状态数目普遍较多的场景中，迁移时间开销过高;二是元数据服务迁移过程中，客户端请求重定向存在不必要等待时间开销，阻塞后续文件系统访问。针对以上问题，本文以BWFS_pNFS为基础，研究元数据服务迁移性能优化技术，提出蓝鲸集群文件系统的快速元数据服务迁移机制。该机制包括基于动态Compound RPC的快速状态服务迁移机制和基于异步RPC的客户端状态请求重定向机制。测试表明，本文工作能显著提升BWFS_pNFS元数据服务迁移时系统整体性能。本文工作和贡献如下: 本文提出并实现基于动态Compound RPC的快速状态服务迁移机制。聚合状态同步过程中的单次迁移粒度，减少元数据服务器(MDS)间网络交互次数，使得迁移时间与状态规模无关，从而降低MDS间元数据服务迁移时间开销。测试结果表明，MDS间元数据服务迁移性能可最高提升88.9％。 本文提出并实现基于异步RPC的客户端状态请求重定向机制。元数据服务迁移时，本机制将客户端close、layout_return两类状态请求中部分RPC交互过程和全部重定向阶段异步化处理，减少后续操作阻塞时间，从而提升元数据服务迁移过程中的客户端访问性能。测试结果表明客户端单个close状态请求重定向性能提升84％，文件系统混合操作整体性能提升8％。 本文针对BWFS_pNFS元数据服务迁移性能低下的两大问题提出解决方案。理论论证和测试数据表明蓝鲸集群文件系统的快速元数据服务迁移机制可有效提升BWFS_pNFS元数据服务迁移时MDS和客户端的性能。