真实数据往往是“脏”的,数据质量良莠不齐,影响数据分析的可用性和准确性。目前在数据清洗领域,算法庞杂,领域针对性强。现有的综述文献大多只针对某一特定领域,没有一篇综合性的数据清洗综述文章。因此通过搜集和整理近年提出的数据清洗算法,并进行归类和分析,综合展现数据清洗领域目前各算法的优缺点,为感兴趣的研究人员学习算法或进一步改进算法提供方便。根据不同的需求,对数据的清洗可以分成三种处理方法:错误检测;数据修复和特征选择与构造。对于错误检测方法,分析四种类型重复记录检测算法。按照定量和定性两种方式对属性错误和约束冲突错误检测算法进行分类。对于数据修复方法,缺失值插补是被研究最多的问题,将缺失值插补算法分成四种类型进行对比分析。除了基于完整性约束规则类型对修复违反一致性错误的算法进行分类外,按照另外三种分类标准进行分析。对特征的处理有特征选择和特征构造两种方式,其主要区别在于是否改变原始特征。特征选择算法是该领域的研究重点,数理统计和机器学习算法在特征选择领域一直被广泛应用。近年来,越来越多的研究者表现出对进化算法的兴趣。在特征选择问题中,如何找到全局最优解的同时减少特征数量是需要考虑的问题,而这正好是进化算法擅长的。特征构造将数据投影到其他维度空间。对几种常用的特征构造算法进行了分析和讨论。实验以Spark服务器集群为实验测试平台,针对真实的网络日志,分析日志的特点,就缺失值和特征选择问题选择最优的数据清洗算法,完成日志清洗的工作。