数据作为信息的载体,是智能计算、信息融合等众多领域研究的课题,以发现海量数据背后所蕴含的规律,但脏数据的存在大大增加了知识发现的复杂度,因此数据清洗是一项非常重要的工作。国内外学者对英文数据的清洗有较为系统的研究,而中英文各方面差异巨大,针对英文数据的清洗方法不完全适用于中文。另外,面对激增的Web数据,单机计算性能瓶颈随之凸显,基于此,本文研究了针对相似重复中文文本的分布式清洗方法。基于Hadoop分布式平台和相关清洗方法,针对传统单机清洗方法清洗精确度低、清洗速度慢的缺点提出了将BERT模型和k-means聚类算法相融合的并行清洗方法,主要内容有:（1）针对中文存在的一词多义与多词一义的现象,分析了传统向量化方法丢失语义信息的缺陷,在文本向量化过程中引入位置向量,获取词语的上下文特征,根据语义动态调整向量,使得多义词在不同语境下获得不同的向量表示,同时基于Hadoop设计该过程的并行化实现,为进一步的相似重复数据清洗做铺垫;（2）采用聚类的思想实现对相似重复数据的并行清洗。该过程利用Mahout算法库提供的余弦相似度算法、Canopy算法、k-means聚类算法对数据进行相似重复检测并聚类。剖析Mahout中实现k-means的源代码,加入Combine过程做二次开发,减少Map和Reduce之间的通信消耗,提高清洗效率。为了减小随机k值对聚类的影响,先对数据做Canopy粗聚类,得到大致的聚类中心,再运用k-means算法将相似重复文本聚类,达到清洗的目的;（3）梳理数据清洗的流程,在多种数据集上进行对比实验,实验结果说明与其他方法相比,该方法下的文本数学表达更能承载真实的语义信息,从而使得后续相似重复文本清洗有更高的查准率和查全率,同时,分布式实验说明本文的并行计算设计有良好的加速比和可扩展性。