工业大数据是支撑未来智能信息化的基础,企业在发展过程中积攒了大量珍贵的数据信息,这些数据在企业的发展过程中起着举足轻重的作用。但由于存在不完整数据、重复数据、缺省数据、冗余数据等数据质量问题,使得基于这些数据的分析往往产生错误的结果,这就必须关注数据本身的质量问题,本文主要对工业大数据中的相似重复记录进行研究,并进行相应的处理工作。由于传统的清洗算法对相似重复记录清洗效果较差,本文结合工业大数据数据特点,以及中西文表达不同的特点,针对传统编辑距离因属性缺失造成的重复记录误判情况,提出模式编辑距离以及综合属性权值的概念,可以实现区分中西文表达差异同时可以最大化合理考虑数据的领域特点,从而提高检测精度。工业大数据集中对整个数据集进行相似记录匹配是没有必要的,故提出基于长度过滤和动态伸缩窗口的概念,利用长度过滤(大于阈值)算法将不可能构成相似重复的记录进行筛除;通过设置动态伸缩窗口,比较窗口内的记录间相似度,整个窗口在滑动过程中动态调整其大小,减少了不必要的记录匹配。本论文的目的在于深化相似重复记录识别方面的研究,并为相似重复记录检测在工业大数据中的应用起到抛砖引玉的作用。实验证明,改进的SNM算法在识别相似重复记录方面,检测精度和效率均有所改善,也验证了相似重复记录识别算法在工业大数据中应用的价值性。