随着大数据时代的到来,当今社会每天都会有大量数据的产生,同时随着国内网民的不断增加和网络覆盖率的提升,这些数据还会继续呈指数增长。面对信息爆炸的时代,如何对海量数据进行有效的存储和管理是个很有技术挑战的难题。HDFS是一个具有高度容错性,提供高吞吐量的数据访问,适合存储超大规模数据集的分布式文件存储系统。但在实际使用中,发现HDFS在文件检索、管理、小文件存储、数据分布、安全等方面存在问题。本文首先研究了分布式文件系统的基本架构设计,设计了 HDFS集群信息采集系统,并在此基础上完成了 HDFS文件检索和管理系统,方便用户和管理者对集群文件进行控制和管理。之后基于HDFS信息采集系统,发现集群存在小文件过多的情况,从理论和实验两方面验证小文件过多会造成集群读写性能的严重下降,为解决上述问题,设计了 HDFS碎片整理系统,帮助集群管理者快速发现和消除集群小文件。同时从HDFS信息采集系统,还发现集群存在数据不均衡的现象,从理论上分析数据分布不均衡会造成MapReduce程序无法很好地利用本地计算的优势,在文件并发访问会造成网络拥塞,并通过实验验证上述结论。为了改善数据分布不均衡现状,提出了以文件维度为主的多衡量指标的数据均衡策略,并与默认策略进行测试对比证明有效性。在实际生产环境中,为了提高集群使用效率,需要对用户权限进行管理,以保证集群的使用环境安全、稳定,我们设计了通用的权限管理系统,从命令行端和Web端同时保护集群文件安全。