随着信息技术的高速发展,数据呈现指数增长的趋势,海量数据的存在对于社会与科技的发展是机遇也是挑战。大数据给传统的技术带来了难题,海量的数据存储与处理得到了社会各界广泛关注。而在海量数据中,包含了很大比例的小文件。小文件以各种形式存在人们的生活中,怎样从海量小文件中挖掘出信息潜在的价值,将其用于解决人们的实际生活中,是目前急于解决的问题。Hadoop作为开源式云计算平台,一经发布便广受国内外专家学者的关注,各大互联网公司更是将其应用于公司的发展中。HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系统,拥有高可靠,高并发,高可用,高容错等特点。HDFS对于大数据的存储与处理十分有效。然而HDFS的主从架构模式的特点在海量小文件存储与处理方面存在一定的弊端,海量小文件的元数据量成为了制约NameNode的瓶颈问题,并且严重影响了小文件的读取效率。针对HDFS存储与处理海量小文件效果不佳的问题,本文提出一种动态队列的方案,减少NameNode中的元数据,并采用预取缓存策略,提高小文件的读取效率。本文的主要工作如下:(1)分析研究了 HDFS在存储以及处理海量小文件时存在的问题,以及现有的研究方案的优势与不足之处,通过分析研究HDFS的体系架构与工作原理来找出其处理海量小文件所在问题的根本原因,并加以探究。(2)针对HDFS存储以及处理海量小文件性能不佳的问题,本文提出了一种动态队列的解决方案。首先通过层次分析法,将NameNode内存消耗、文件合并速度以及文件下载速度作为三个评价指标,分析各指标在小文件存储处理上的系统性能中所占的权重。其次利用改进的log函数数据标准化方法将实验得到的三个指标数值进行数据标准化,对系统进行定性问题定量化的评判,然后计算得到系统的性能变化趋势。根据无单位无量纲的纯数值的系统性能变化趋势确定小文件的不同范围,然后再通过三个评价指标计算出每个数据范围的最佳队列大小。采用基于符号的文本相似性检测方法对文本小文件进行相似性检测。最后为不同范围的小文件选择最佳队列进行合并后存储,减少NameNode的元数据的内存消耗,设计二级目录与预取缓存策略,提高小文件的读取效率。并且通过实验,将本文的动态队列的方案与直接使用HDFS以及使用单一队列存储处理小文件的方式进行对比,证明本文的动态队列方案可以有效的减少元数据量,并且提升小文件的读取效率。