水库健康监测大数据清洗方法研究

来源 :山东农业大学 | 被引量 : 0次 | 上传用户:triumphis
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着大数据挖掘技术在水利行业中的迅速推广以及水库健康管理理念逐渐兴起,水库健康管理平台积累了海量的水库健康监测数据,海量数据是建立水库智能综合健康诊断模型、实现水库健康状况预警,优化调度等工作的重要基础。而水库健康管理平台在长期的数据采集与存储过程中,网络波动、传感器故障、人为操作失误等原因导致了水库健康监测数据的缺失值和异常值,这些缺失值和异常值严重降低了监测数据的真实性。不仅影响了水库智能综合健康诊断模型的构建而且干扰了水库健康状况的精确预测预警,甚至会提供误导信息,导致水库管理者决策失误,造成不可挽回的后果。因此,针对具备量大、数据复杂多样、高速、低密度价值,真实性大数据特征的海量水库健康监测数据进行缺失值填补和异常值检测具有重要的工程意义。本文用Matlab软件对基于多种距离的K均值算法和基于多种距离的K最近邻算法以及箱形图法、基于马氏距离的异常值检测法、基于欧式距离的异常值检测法进行编程,在K均值算法和K最近邻算法的程序中依次引入欧式距离、曼哈顿距离、闵氏距离、切比雪夫距离、余弦距离、相关距离、斯皮尔曼相关系数、汉明距离、杰卡德距离作为度量单位,在基于距离的异常值检测法的程序中引入欧氏距离和马氏距离为度量单位,运用所编程序对水库健康监测数据进行缺失值填补和异常值检测,将缺失值填补效果用均方根误差进行定量分析,将异常值检测结果汇总分析,得到的主要结论如下:(1)采用基于多种距离的K最近邻算法填补了水库健康监测大数据的缺失值,分析比较得出基于曼哈顿距离的K最近邻算法填补效果最好,经多次运算,其填补值与缺失值的均方根误差的均值约为:3.507。(2)采用基于多种距离的K均值算法填补了水库健康监测大数据的缺失值,分析比较得出基于斯皮尔曼相关系数的K均值算法的填补效果最好,经多次运算,其填补值与缺失值的均方根误差的均值约为:155.0。(3)对于离散程度高的监测数据、离散程度低的监测数据,采用基于斯皮尔曼相关系数的K均值算法填补缺失值;对于变化微小的监测数据,采用均值填补缺失值。(4)针对超出评分范围的异常值检测,基于马氏距离的异常值检测法效果更好,检测精度更高;针对评分差的异常值,基于欧式距离的异常值检测效果好,检测范围更广。(5)采用箱形图法对水库健康监测大数据进行了异常值检测,结果表明,箱形图法能够对监测数据的中位数、尾长、异常值、分布区间等形状信息进行直观表达,适用于异常值的宏观分析。(6)采用箱形图法和基于马氏距离的异常值检测法相结合的方法对水库健康监测大数据的异常值进行检测,两者的有效结合能对水库健康监测大数据的异常值进行直观表达和精准定位。研究结果表明上述方法能够有效针对水库健康监测大数据量大、监测指标多、数据类型复杂多样等特征,快速、高效的对水库健康监测大数据的缺失值进行填补,对异常值进行直观表达和精准定位,可以最大限度的保证水库健康监测数据的质量和真实性,从而提高数据分析的准确度,是实现水库工程优化调度,保障水库高效、安全和健康运行的重要前提。
其他文献
研究以某高校“85后”大学生为研究对象,采用心理成熟度量表、多维度—多归因因果量表和卡特尔16种人格问卷进行调查,探讨了不同性别、年级、职务、生源地的大学生的心理成熟
随着我国经济的快速增长,水资源短缺已成为制约我国经济发展的重要因素之一。我国工业用水量占全国总用水量的五分之一,但是工业用水重复利用率却远远低于发达国家的水平,其
<正>诗歌是诗人借助诗歌形象即意象用高度凝练的语言来表情达意的一种文学作品。形象是诗歌思想内容和作者情感态度的载体,因此准确理解诗歌中的形象,就可读懂诗歌,把握诗人
运用霍米&#183;巴巴的后殖民理论分析海明威小说《乞力马扎罗的雪》中殖民主体、被殖民主体的矛盾身份焦虑问题,继而考察小说中被殖民主体从“失语”到“发声”的表达历程,探
我国1997年刑法修订时,尚未大量出现黑社会性质组织犯罪。当时,立法者将黑社会性质组织犯罪明确规定在刑法第二百九十四条,表现出了刑事立法的一定超前性。随着社会发展,特别
目的通过在老年全髋关节置换术中分别运用不同的临床麻醉方法,进行临床疗效观察和比较,探索最优麻醉方法。方法将在我院进行全髋关节置换术治疗的老年患者分两组,麻醉方法分
该研究的目标是不同的热处理工艺的效果比较;同时还探讨了是否能够通过分析的方法来分辨出不同工艺所生产的不同种类的牛奶。研究证实,超高温灭菌乳的风味不如新鲜的巴氏杀菌
黑社会性质组织犯罪在我国逐渐抬头且呈蔓延之势,已经成为严重危害社会秩序和政权稳定的一大隐患。虽然刑法规定了“反黑三罪”,填补了旧刑法的一项空白,但是由于当时缺乏理
<正>随着时代的变迁与发展,传统的语文教学方式已经不适合当前的学生综合能力培养的目标。而新课程标准改革正是在这种背景下应运而生,《新课程标准》更加注重教学方式的创新
产业结构软化是近些年发达国家实现产业结构调整升级的重要战略.本文从产业结构软化的相关理论及实践分析入手,在对产业软化的推动力进行论述的基础上,分析西北地区产业结构