Hadoop分布式文件系统广泛应用在文件存储领域,随着网络技术的发展和用户需求的增长,产生了大量的小文件数据。目前,HDFS存储海量小文件的不足之处包括以下两个方面:存储海量小文件时NameNode内存空间消耗巨大;客户端频繁的与NameNode通信造成NameNode的I/O性能下降。因此如何使用HDFS对海量的小文件进行有效地存储和管理,并实现高效、准确的搜索和访问,是一个亟待解决的问题。也成为了当今重要的研究方向。本文就是在HDFS存储海量小文件问题上提出了新的解决方案并评估其可行性。为了解决HDFS海量小文件存储的问题,本文设计了关联文件合并算法和文件缓存与更新算法。关联文件合并算法通过对Apriori算法进行分析改进,将原始数据集转换为10-事务矩阵,并增加事务计数、项目计数来进一步压缩矩阵,能够有效地减少Apriori算法剪枝过程中遍历事务数据库的次数,降低I/O开销,提高算法的执行效率,通过将强关联性的文件合并在一起,可以为文件读取阶段减少请求文件访问时间做准备。然后设计了基于队列的小文件合并算法,可以有效地缓解HAR归档技术存在的数据块中产生内部碎片和文件体积分布不均的情况。文件缓存与更新算法旨在通过增加文件缓存策略来减少客户端与NameNode的通信,根据预测的文件序列,将接下来可能被访问的文件提取至缓存区中,若用户请求的文件在缓存区中,则直接将文件返回给用户,可以减少客户端与NameNode的通信次数,提高文件读取效率,随着用户兴趣爱好的改变,设计使用基于长短期记忆网络模型来更新文件序列,提升预测的文件序列的准确性。实验表明,本文提出的解决方案在文件存储阶段能够有效地提高DataNode数据块的利用率,降低NameNode的内存消耗;在文件读取阶段能够减少客户端与NameNode通信的次数,提高了文件读取效率,缩短了用户的访问时间,证明了本文提出的小文件存取优化方案的可行性和有效性。