面对井喷式的大小不一的数据文件,单机存储系统会变得手忙脚乱。对此,国内外工程师们设计了形态各异的分布式文件系统。本文分析了海量小文件的存储问题,剖析了分布式文件系统的数据路由策略与系统架构,总结出在设计适配海量小文件的分布式文件系统过程中有待解决的三个问题。针对元数据的高速读写与容灾扩容的冲突问题,本文提出了分布式内存数据库与传统数据库结合的元数据管理方案。该方案将元数据分散在分布式内存数据库中,在处理好海量小文件存储问题的同时,解除单机内存大小对可容纳文件数量的限制,再使用基于固态硬盘的传统数据库做备份,实现元数据的有效容灾。针对小文件与大文件的共存问题,本文提出了小文件合并大文件分割的存储方案。该方案在优化海量小文件存储的前提下,不影响甚至改良大文件的存储方式,提高系统对大文件读写的吞吐性能,实现系统的通用性。针对存储节点的负载均衡问题,本文提出了基于对等集群架构的动态数据路由策略。该方案使数据副本能均衡分布在性能各异的存储节点中,并对外提供强一致性,在提供友好的容灾与扩容机制的同时,有效解决系统的单点故障问题。基于上述三个关键技术,本文提出了一个适配海量小文件的分布式文件系统架构,并阐述其存储机制、扩容机制与容灾机制,再详细设计并实现了各个功能模块。最后,本文对上述实现的分布式文件系统进行测试实验,主要考察其小文件与大文件的处理情况、容灾情况、系统扩容情况,分析其功能与性能。实验结果表明上述方案确实能够有效地管理海量的大小不一的数据文件。