随着IT技术的不断跃进,高校、科研院所和企业的数据量也不断攀升,阿里巴巴马z云先生描述人类正迈向IT(Information Technology)到DT(Data Technology)的进程,阐明了数据的重要性。越来越大的数据也催生了 Hadoop、Spark等大规模数据处理平台的诞生,海量数据处理的问题因而变得相对容易。然而,因数据的指数级增长,高校、科研院所和企业储存数据的花费及配套的数据中心运营和储存所需的耗费日益增大。并且,如Hadoop这样的分布式平台只是扩展了储存容量,而没有对储存空间进行优化。研究表明,应用Hadoop平台进行大规模海量数据储存时,将出现很多重复数据,数据重复率达70%到80%[4]。针对Hadoop储存平台内数据重复度高的特点,本文通过将重复数据删除技术与Hadoop分布式处理架构有机结合,对大量重复数据采取去重检测操作,只储存数据的惟一副本,降低了数据冗余。二者结合的这一方案既增强了分布式计算的可伸缩和效率,又确保了数据储存的惟一性,对于日益增长的数据储存需求,这是非常有意义的。因此,本文详细剖析了大规模海量数据储存平台Hadoop的核心技术,同时在去除冗余数据方面进行了相关研究,针对Hadoop平台中存在的大规模冗余数据,提出一种基于Hadoop的高效并行的去重架构。本文主要创新之处在于,在基于Hadoop的可高效并行的去重架构中,对Hadoop输入文件提出了 PHAF快速小文件聚合方案;在指纹算法上首次采用SHA-3获胜算法Keccak作为重复数据检测中的指纹算法以取代传统的MD5、SHA-1和SHA-2等算法。并单独对该算法进行了详细的算法设计和Java语言的实现,实验性能较传统安全指纹算法SHA-224有了很大提高。最后将本文的研究应用到真实慕课学习网站的数据集上,进行了数据块颗粒度的去重实验,给出了实验结果分析。