数据在人类生活中占据着十分重要的地位,而水务数据由于多变量、数据种类繁杂、相关性强等问题在采集出现脏数据时变得难以处理,给水务行业进行决策性分析带来了严峻的挑战,因此对水务行业数据进行数据清洗势在必行。利用数据挖掘技术来进行数据清洗属于数据挖掘领域的前沿问题,近年来,随着机器学习和统计学习学术方向上的进步,在各领域中应用数据清洗技术得到了较大进展,但这些方法在水务数据空间、时间、数值特征上的清洗方法依然有待提高和突破。本文在水务数据空间、时间特征属性的基础上,以空间、时间异常值检测算法为切入点,进而研究基于立体感知的智慧水务大数据清洗算法。主要工作如下:(1)基于空间特性的异常值算法研究针对水务数据空间特征的业务属性和对象属性以及多变量特点,本文提出了利用KNN求出各点的临近函数点,再利用流域作为权值调整下的比较函数和适合多变量的马氏距离作为阈值函数,对水务数据中空间特征属性进行异常值检测。实验结果验证了本算法在水务数据异常值检测中良好的准确性和有效性,为进一步研究基于立体感知的智慧水务大数据清洗模型奠定了基础。(2)基于时间特性的异常值算法研究针对水务数据时间序列特征和多变量特点,本文提出了利用FCM聚类方法和两种模糊积分方法对时间序列进行降维,将三种方法进行横向对比,找出泛化能力较好的针对水务数据的降维模型,通过改进的隐马尔科夫模型将时间序列数据设置为可见的状态序列,应用维特比算法来预测最可能的隐藏状态序列(正常或异常)进行异常值检测,能有效的提升异常值检测的准确性,为进一步研究基于立体感知的智慧水务大数据清洗模型奠定了基础。(3)基于立体感知的智慧水务大数据清洗算法研究在水务数据空间与时间特性异常值检测研究的基础上,加上应用改进的TwoStep聚类算法的通用数值属性异常值检测方法与利用改进的多层感知器的人工神经网络空缺值填补方法,提出了一种基于立体感知的智慧水务大数据清洗模型。首先,对需要清洗的水务数据进行数据预处理,接着根据数据中的属性特征分别利用通用异常值检测算法、空间异常值检测算法和时间异常值检测算法进行异常值检测,然后对异常值检测完数据中的空缺值进行填补,进而得到干净的水务数据。该模型根据水务数据特点、水务脏数据特征和数据清洗流程设计,能够有效的对水务领域中出现的脏数据进行清洗。实验结果显示,基于立体感知的智慧水务大数据清洗模型异常值检测具有良好的准确性和有效性,空缺值填补效果也具有良好的准确性和泛化能力,说明本文方法在数据清洗中的可行性和有效性。