Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)是 Hadoop 的“数据仓库”,其设计的初衷是存储超大文件的,存储小文件的效率不高。HDFS的架构模式是Master/Slave主从架构,存储众多的小文件将严重消耗Master资源,加剧Master的工作负担,增加网络流量。而HDFS本身缺乏小文件IO优化策略,使得HDFS小文件存储问题成为大数据领域中备受关注的热点之一。Hadoop处理的是丰富多彩的文件,面向无结构、无规律、普通小文件,通用存储解决方案是一项很有前景的研究课题。本文针对无结构、无规律、普通小文件提出了一套通用的解决方案,并重点研究了基于LRFU缓存替换策略的HDFS Client本地缓存设计与实现,提高小文件的存取效率,并取得了一定的成果,总结如下:本文根据Web日志的文件访问顺序使用FP增长来挖掘各小文件之间的关联关系。文中将触发文件和与触发文件相关联的小文件合并为同一个文件,此为第一次合并。并基于均匀分布将第一次合并后尺寸较小文件进行再次合并,为合并文件建立索引,此为第二次合并。HDFS是采用Master/Slave主从构架模式。为了解决众多的小文件严重消耗NameNode资源引起的NameNode资源不足问题,本文提出一种使HDFS Client在某种功能上充当NameNode的思想,并基于此思想设计并实现了在HDFS Client建立文件块信息本地缓存,用户在访问文件时可以在本地获得文件块信息,而不必请求NameNode,减少了 NameNode资源消耗。通过实验证明HDFS Client本地缓存机制命中率能维持在50%以上,小文件访问速度提升了 3.1倍,NameNode小文件元信息请求量降低了 28倍。