在分布式存储领域,各行业根据各自业务特点,开发了很多适合自己领域的分布式文件系统,如HDFS、CEPH、Lustre、Haystack等。经过调研分析,我们发现它们基本都是面向大文件存储进行设计的,而一旦涉及大规模小文件操作,这些系统性能很差。针对以上情况,本文从小文件存储格式、缓存机制和容错机制出发,对小文件在分布式存储系统中的IO性能进行了优化。现有的文件系统对小文件存储支持不够好。针对这一不足,本文优化了小文件在数据服务器中的存储格式与机制,即使用大数据块来存储小文件数据,并采用索引文件来标识每个小文件在数据块中的存储位置。实验结果表明,本文优化后的小文件存储格式具备很好的IO性能。在传统文件系统中,文件数据与元数据采用一一对应的方式组织,每个文件单独对应一份元数据信息,当涉及到大规模小文件存储时,这种方式会产生大量元数据,访问性能会受到极大限制。经过优化后的小文件存储格式能够极大地降低元数据量,从而为缓存元数据提供了可能。本文在分布式文件系统中引入缓存机制,通过将索引文件存储到缓存中,以此来降低小文件访问延迟。除此之外,实现了元数据服务器集群的负载均衡机制。本文最后介绍了纠删码在小文件存储中的应用。根据第二章介绍的小文件存储格式可知,相对于数据块而言,扩展块占据了很小的空间。因此,在对小文件数据进行编码时,对扩展块采用多副本存储,数据修复的时候不再需要读取其它的文件来解码并恢复损坏的文件块,从而极大地降低了数据恢复时的网络开销和计算开销。