近年来,在移动互联网、物联网、云计算技术高速发展的推动下,采集的数据呈现出“井喷式”增长,数据类型繁多、体量变化大、流动速度快,而且随着时间的积累还会产生数以千、万亿级别的海量小文件,如何优化存储这些海量小文件成为了当前学界和业界的难题。作为被业界广泛认可的Hadoop分布式系统基础架构,它的分布式存储系统HDFS(Hadoop Distributed File System)已成为海量文件存储的首选,其分别采用NameNode和DataNode进行文件的管理和存储。然而,由于HDFS的设计初衷是解决大体量流式文件的存储问题,并不适合超大规模小体积文件的数据存储,因而本课题基于HDFS平台,从优化海量小文件的上传策略和访问策略入手,着眼于解决当前NameNode设计中存储小文件时内存损耗过大以及HDFS下读取海量小文件效率过低的问题。本文主要研究成果如下:(1)当大规模小体积文件存储在HDFS上时,NameNode内存中会对每一个小文件产生与之对应的元数据文件。小文件数量越多,元数据量就越多,因而NameNode内存损耗就越大。为此,本文设计了小文件上传处理模块。它主要包括四个功能单元:首先,通过文件判定单元对目录下的文件进行过滤,找出符合小文件特性的文件;然后,通过文件处理单元对过滤后的小文件进行处理,将具有相关特性的小文件分类;最后,通过文件合并单元将各类小文件合并成大的文件。如果在合并文件基础上需要追加一部分小文件,可通过文件追加单元,通过文件追加单元能减少合并文件和元数据文件数量,使文件的管理更加方便。(2)当从HDFS读取大量小文件时,每次读取一个小文件都会与NameNode进行交互,并且小文件在DataNode上位置较为松散,那么读取大规模小文件效率就会很低。针对这个问题,本文设计了小文件读取方法。在提高小文件读取效率上主要设计了基于MYSQL Memory数据存储引擎的索引表,同时采用了客户端缓存和数据节点分布式独立缓存的方式来缓存所需要的数据信息。并且为了解决缓存命中率问题,采用了预取机制来提高缓存的命中率。文中通过实验来验证小文件上传处理模块和读取策略的有效性。实验中对小文件的上传速度,内存的使用量和文件的读取效率分别进行对比研究。结果表明,本文提出的方案能够有效改善NameNode的内存的消耗,并且有效的提高了小文件上传和读取的速度。