大数据技术之中核心是数据分析,但在真正解决大数据问题之时,三分之二的工作量都是在大数据清洗,大数据清洗是开始大数据处理的基础,所以,高效的大数据清洗技术不仅能有效地提高大数据质量,也可以加快整体大数据处理的流程。本论文设计实现了一套基于Spark的大数据清洗框架,原理是充分利用Spark分布式计算能力,将弹性分布式数据集(Resilient Distributed Datasets, RDDs)的操作,封装成大数据清洗的任务单元,通过组合,串联成完整的大数据清洗流水线,实现大数据清洗。同时提出了多叉树计算流结构,优化大数据清洗流程。该框架能够重用大数据清洗功能组件,灵活配置清洗流程,充分利用Spark的高速计算性能,实现高可扩展性,满足实际环境中复杂的大数据清洗需求,彻底解决大数据清洗问题,加快整体大数据处理流程。实验证明,基于该大数据清洗框架,能够极大降低清洗流程的耦合性,利用已有的清洗单元,灵活地实现复杂的大数据清洗,极大降低了大数据清洗的成本,最关键的是,利用Spark将大数据清洗提升到了一个新的性能水平,促进了大数据处理应用技术的发展。