随着互联网的高速发展,各类社交网络、电商网络、在线文档平台呈现爆发式增长。与此同时,网络数据量中的图片、文本文档、音视频等小文件呈指数级增长。传统的数据存取、检索己经无法满足当前需求,尤其是在低延迟、高准确率等应用场景方面。而使用云计算存储和检索海量数据可以达到硬件资源高效利用,并避免了传统数据存储方式的弊端。在当前主流的云计算平台中,Hadoop以其生态完整、完全开源等特点成为首选方案。Hadoop的核心组件包括了并行计算模型MapReduce和分布式文件系统HDFS。HDFS是一个分布式的文件系统,被设计来处理大文件,能够处理大量的数据,但在处理海量小文件存取存在内存负担大、存取性能低的问题。本文分析在线文档平台的业务特点,分析HDFS在海量小文件场景下遇到的性能挑战,设计并实现了基于Hadoop的海量小文件存取系统应用。该系统为满足高并发的随机写入、读取的访问请求,采用“本地存储一HDFS”两级存储架构设计,既满足系统的高并发读写需求,又能够提供线性可扩展的海量存储能力。课题研究主要内容包括以下三部分:1,重点研究了 HDFS,并对HDFS自带的存储方法原理和优缺点进行分析。2,研究并讨论了检索原理及全文检索系统实现。3,结合在线文档平台的业务特点和HDFS架构特性,设计了一个基于HDFS的海量小文件分布式存取系统,创新性设计了对海量小文件的合并保存,关联文档的预读取功能,充分利用了 Hadoop的海量存储、高容错性的特点,规避了 Hadoop无法高效对海量小文件进行存取的缺点,实现特定业务场景下的高吞吐、低延时,详细阐述了系统实现思路并编码实现。