论文部分内容阅读
近年来，越来越广泛的海量小文件应用，对传统分布式文件系统提出了低延迟的挑战。由中国科学院计算技术研究所基于pNFS自主研发的客户端可写的元数据缓存系统，采用客户端缓存技术，对小文件创建过程中元数据访问性能进行优化，优化后相比于pNFS，小文件创建性能可提升2～128倍。然而，现有客户端可写的元数据缓存系统存在两个问题，第一个是客户端预取的存储资源在异常宕机情况下存在丢失不一致的问题，第二个是海量小文件在多个数据卷上的分布影响文件访问性能。本文针对现有系统存在的两个问题，分别设计了低开销的存储资源一致性维护协议和低访问冲突的动态存储资源分配策略，并应用到现有系统。本文工作和贡献如下: 本文提出并实现一种低开销的存储资源一致性维护协议，该协议能够在正常操作过程中低开销地维护存储资源一致，在宕机恢复过程中轻量级地恢复存储资源一致。该一致性维护协议采用数据块预分配策略，减少了频繁修改数据块位图的写磁盘开销，通过维护预分配范围的数据块和预留范围的索引节点绑定关系，MDS在后台以轻量级FSCK的方式仅扫描小范围的索引节点就能恢复存储资源一致。测试结果显示，相对于数据块预留策略，该一致性维护协议正常操作的执行延迟，可降低13.42％～19.76％;在预分配1GB数据块资源、预留1万个inode的情况下，MDS恢复存储资源一致的时间小于1秒，且恢复期间对CPU负载影响仅在0.1％～0.3％、磁盘负载影响仅在0.01％1.6％。 本文提出并实现一种低访问冲突的动态存储资源分配策略，该分配策略使得单客户端能有效利用多个数据卷的性能，同时降低数据卷上的访问冲突，从而降低了客户端创建文件的延迟。此外，该策略支持根据数据卷负载变化，动态调整数据卷，发挥整体数据卷性能。在该分配策略中，MDS根据数据卷的I/O请求响应时间，为客户端选择一组响应时间小的数据卷分配存储资源，同时支持根据I/O请求响应时间阈值条件，动态调整客户端所使用的数据卷组，发挥整体数据卷性能。测试结果显示，相对于原有分配策略，现有分配策略中客户端创建文件时间可降低9.46％～19.44％。