随着互联网的高速发展,每天产生的数据量正呈爆炸式增长,传统的数据处理技术很难快速有效地处理海量数据。在此背景下,Hadoop作为一种高效处理海量数据的框架而得到广泛应用,其底层文件系统HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)是运行在普通廉价机器上的分布式文件系统,可以平滑扩容,并提供高吞吐量的数据访问,适合大规模数据集的处理。HDFS采用“主/从”结构,由一个名称节点(NameNode)和多个数据节点(DataNode)组成。Hadoop设计之初是为了处理大文件,系统中每个文件会在名称节点的内存中生成与其对应的元数据,元数据的大小与文件大小无直接关系,因此,若系统中存在海量小文件,则名称节点的内存无法容纳如此大量的元数据,从而导致其内存的大小会成为系统扩容的瓶颈。然而,在如今的互联网时代,各种社交软件、博客、购物网站等每天会产生大量小文件;在网络硬盘中,用户上传的文件大多是文档、图片、音频等小文件,这给Hadoop的应用带来很大的挑战。针对Hadoop在存储小文件时效率低下的问题,本文提出基于文件合并技术解决这一问题,基本思想是将多个小文件合并为大文件,并建立小文件到大文件的映射。针对Hadoop中海量小文件的检索效率问题,本文采用R树、倒排索引以及预处理器端全局映射管理技术,提供了依据文件名和文件元数据分别进行检索的方法。最后,通过搭建Hadoop平台并实现本文所提出的方案,对所提出的算法进行性能测试,结果表明,本方案可有效提高Hadoop在处理海量小文件时的存取效率。