论文部分内容阅读
针对海量小文件访问问题的挑战,提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统(HVFS)来管理数十亿个小文件的方法,以支持高并发、高吞吐、低延迟的访问。重点讨论了目录索引、目录存储问题,提出了利用可扩展哈希索引来降低延迟、提高扩展性,利用日志结构和列存储的目录聚合来提高吞吐率的方法。测试结果表明,HVFS的存储性能能够线性扩展,82节点上峰值创建速度接近百万每秒,与GIGA+相比有200%以上的提升,小文件I/O性能与OrangeFS相比有60倍以上的提升,充分验证了分布式索引和目录聚