Hadoop在处理某些特定数据时,特定数据中冗余的数据会影响系统的存储效率,浪费存储资源。而重复数据删除技术可以有效识别系统中重复的文件或数据块,节省系统存储空间,提高系统资源有效使用率。Hadoop是当前大数据领域中主流的开发平台,如能将重复数据删除技术应用在Hadoop平台当中,可有效促进当前大数据的发展。目前在Hadoop上实现重复删除技术的相关设计,过多的关注于重复数据删除技术本身,而没有贴合Hadoop自身的一些特性去分析设计,导致其并不适合在Hadoop中应用。目前设计中的缺点,一是索引文件设计会导致系统文件数目翻倍进而造成NameNode内存空间占用量增加,影响系统效率;二是系统不兼容Hadoop抽象文件系统,侧于重文件下载而不提供文件随机读取的能力;还有客户端-服务端的设计架构导致服务端成为系统瓶颈,不适合大规模数据的存储。本文基于对Hadoop的研究提出一种新的设计架构和索引文件设计方法,解决以上问题。具体内容为:1)提出一种新的重删文件系统架构,该架构将在原HDFS客户端上实现重复数据删除功能。新客户端中重删文件数据直接与数据节点交互,避免常规架构设计中服务端成为系统瓶颈的问题。2)设计一种新的索引文件。新索引文件设计能减少HDFS上的文件数量,降低NameNode内存空间的使用,并有效支持系统文件随机读取的能力,提高系统效率。3)基于以上的设计,在Hadoop实现了重删分布式文件系统原型,系统能有效删减重复数据,降低存储空间并兼容Hadoop抽象文件系统。最后对原型系统进行了全面测试,包括系统重删率、文件读写速度、并发读写性能、文件删除等,结果表明原型系统在指定数据集下的重删率达到了 56.4%,其他功能也达到预期效果。