随着互联网数据量呈现爆炸性增长,海量数据的存储和查询给数据中心带来了极大的挑战。MongoDB作为一种新型的非关系数据库,其灵活的数据存储格式和高查询性能使其得到广泛应用,但是MongoDB的存储空间消耗较大,并且没有重复数据的检测和删除机制,有可能浪费大量的存储空间,降低数据库存储系统的性能。重复数据检测是通过比较数据指纹,判断数据之间是否存在重复;在基于MongoDB实现海量数据的重复数据检测和删除技术时,数据指纹的查询可能成为性能瓶颈。对于海量数据的重复数据检测场景,分析了树型和哈希两类主要的数据指纹查询算法的特点,并对哈希算法中的一种高性能查询算法布隆过滤器进行了研究;针对已有布隆过滤器扩展性差的问题,提出一种增长型布隆过滤器查询算法,并应用于海量数据的重复数据检测技术中。对MongoDB现有的文件存储系统GridFS的存储机制进行改进,增加数据块指纹映射表,使用增长型布隆过滤器快速判断数据块指纹是否存在,实现数据块的重复文件删除技术。实验结果表明,MongoDB使用改进后的增长型布隆过滤器查询数据指纹,其文件系统重复数据检测和删除技术具有更好的扩展性,与原有的布隆过滤器相比,查询时间性能有所提高。