随着信息技术的不断发展,我们正处在一个数据量爆炸增长的时代,同时也是一个越来越依靠数据进行决策的时代。传统的存储技术在面对海量数据的挑战时已经露出疲态,其扩展性差、数据安全性低、维护和管理的成本高、灾备能力差等等的缺点日渐暴露。如何高效地处理和存储海量的数据成为信息科学技术所要不断改进和解决的问题。Hadoop具有高可靠性,高扩展性,高效性,低成本的特点并逐渐发展成为了系统完备的大数据系统生态圈,为大数据的开发提供了全面的解决方案。毫无疑问,Hadoop已经成为了大数据行业发展的强大驱动力。HDFS在面对大量的小文件存储需求时,出现Namenode的内存占用过高,Namenode交互频繁,引起Namenode单点故障,集群效率低下的问题。提出单层索引的小文件归档结构。本文在Hadoop自带的小文件合并方案Hadoop Achive上进行改进,优化Hadoop Achive归档文件的索引结构,将Hadoop Achive的两层索引结构改为一层索引结构并且使用效率更高的哈希函数,提高从归档文件中读取小文件的效率,同时减少Namenode的内存占用。提出运用一致性哈希算法改进索引文件在Namenode的分布问题,利用一致性哈希算法在对比普通取模所具备的扩展性和容错性,使得集群数据在集群发生改变的时候受到的影响最小,同时保证一致性哈希算法的负载均衡能力,并且使数据的分布适应服务器存在差异的处理能力,分析了 Namenode Federation所存在的负载均衡问题,为其架构的改变做出部分工作。