随着信息技术的飞速发展,数据以惊人的速度产生并积累下来,大数据时代已经来临,数据作为继石油之后的又一个重要战略资源,在医疗、交通、能源等各个领域中发挥着重要作用。农业是我国的基础产业,正处于从传统农业向现代农业的历史转变过程之中,产生了数量可观的农业大数据,我国正努力打造农业大数据平台以服务于现代农业建设。然而,由于农业信息化水平较其他产业相对落后以及农业本身的复杂性,农业大数据的质量参差不齐。高质量的数据是大数据发挥价值的关键,因此,对农业大数据的质量进行评估,并采取措施进行数据清洗以提高农业大数据的质量,具有重要意义。本文基于以上背景对农业大数据的清洗方法进行了研究。首先,在文献研究的基础上,梳理了数据清洗和数据质量的理论知识和国内外对数据清洗技术的研究现状,并对目前市场上的数据清洗工具进行了对比分析。其次,对我国农业大数据的现状和构成进行了研究,并总结了我国农业大数据的特征及其对数据质量的挑战,从数据质量的各个维度,设计了具体的评价步骤和方法,采用数据质量调查和数据质量指标测量相结合的方法,对农业大数据质量进行评估,并将结果放在二维矩阵中进行分析。最后,重点对相似重复记录的清洗方法进行了比较研究,设计了基于Febrl的数据清洗实验,选取Web of Science、Science Direct、SpringerLink等数据库中的农业文献数据,对Edit-Dist、Q-gram、Smith-Waterman-Dist算法在字段匹配上的有效性进行了比较,根据原始数据的特点,选择SNM的改进算法作为相似重复记录的清洗算法,以期提高数据清洗的效率,采用召回率、准确率和F值三个指标对清洗结果进行比较分析,实验结果表明,Smith-Waterman-Dist算法优于前两者,改进的SNM算法在记录匹配的全面性和准确性以及综合表现上都优于传统的SNM算法,基本上满足了对文献数据中的相似重复记录清洗的需求。