【摘 要】
:
近年来,随着矿产企业信息化技术的建设,在企业信息系统中收集了大量的基础数据,而不论是利用这些数据进行数据挖掘还是决策分析,都具有极其重要的价值。由于数据的不准确性,会产生异常或缺失数据,严重影响数据质量。因此,使用数据清洗技术来提高数据质量,优化数据源是不可或缺的步骤。而尾矿库监测系统首先利用传感器设备来采集数据,然后对数据进行分析研究,达到对尾矿库的安全监测。由于尾矿库受外部环境的影响,其设备采
论文部分内容阅读
近年来,随着矿产企业信息化技术的建设,在企业信息系统中收集了大量的基础数据,而不论是利用这些数据进行数据挖掘还是决策分析,都具有极其重要的价值。由于数据的不准确性,会产生异常或缺失数据,严重影响数据质量。因此,使用数据清洗技术来提高数据质量,优化数据源是不可或缺的步骤。而尾矿库监测系统首先利用传感器设备来采集数据,然后对数据进行分析研究,达到对尾矿库的安全监测。由于尾矿库受外部环境的影响,其设备采集的数据会产生异常和缺失,对此首先应该检测出其中的异常数据,然后根据可观测数据前后的变化趋势,来修正并填补缺失数据,从而提高数据质量。本文的主要研究工作如下:(1)从感知数据的时空相关性出发,通过对尾矿库系统中各个设备已采集的数据进行研究,根据数据的前后变化趋势,从模式上将尾矿库中的异常缺失数据进行分类,分为“单独异常点”和“异常序列”与“单个缺失点”和“缺失序列”两大类。(2)通过对历年尾矿库系统中的异常数据的相似特征和表现形式的研究,本文提出了一种近邻差值跳跃异常检测算法,该算法汲取了统计学中数据取值区间和数据变化趋势的思想。使用近邻差值的浮动值对各种传感设备采集的数据是否异常作出判断,归类不同类别的异常数据。通过实验,将提出的算法与常用的统计学方法和基于邻域密度的异常检测算法作对比分析。(3)对不同类别的异常数据和缺失的数据进行填补,通过对数据的特点研究,本文提出了一种基于权重的近邻算法填补数据。该算法汲取了近邻算法的思想,并在计算距离和求值时,利用尾矿库系统中可观测数据的特点进行改进。将新提出的基于权重的近邻填补算法与常用的线性插值法和传统的近邻算法作对比实验进行分析。(4)实验选取了最近尾矿库中各类设备采集的数据。首先,利用本文提出的异常检测算法与常用的统计学方法和基于邻域密度的异常检测算法进行对比实验。分析实验结果后发现,使用近邻差值跳跃算法在尾矿库已采集数据上查找异常数据的准确率和召回率比统计学方法和邻域密度算法更加显著;然后,在查找异常值以后,利用基于权重的近邻算法与传统的近邻填补算法和基于邻域密度填补算法,进行填补对比实验,实验结果表明,改进后的基于权重的近邻算法在填补尾矿库异常和缺失数据上具有更高的拟合度,适用性更好。
其他文献
增强现实(AR)是通过把计算机生成的虚拟信息利用视频显示设备无缝融入到用户观察看到的真实场景中,来丰富和提升人们视觉体验的技术,是人机交互方向产生出的一种新的重要方式。近些年其在科技博物馆、多媒体课堂等教学场合得到了广泛的应用,但大多数都是通过使用手持标识方式的AR技术来进行交互的,其限制性较强,普遍存在易用性与沉浸感差的缺点。因此,利用人来代替手持标识作为AR的输入将是未来人机交互的发展方向,尤
非负张量分解是非负矩阵分解的多线性扩展。它继承了非负矩阵分解“整体感知基于部分感知”的思想,能在非负张量数据中挖掘各个维度的潜在信息,更高效地进行降维及特征提取,
随着“互联网+”在交通运输行业的深入发展,网约车、定制公交、城际拼车、共享单车、共享汽车、交通新型支付等新业态不断进入出行领域,促使乘客使用交通的方式发生变化,即出
轨道几何不平顺检测系统进行轨道检测时,因车轮空转与打滑、检测速度、是否通过曲线、轨道表面清洁状况、钢轨磨损程度等复杂检测环境的影响,轨道检测数据不可避免产生里程偏差,导致波形错位,造成数据应用困难。因此,针对轨道检测数据存在里程偏差的问题,深入开展里程偏差修正研究,就成为一个重要的研究问题。为了实现里程偏差修正,里程偏差识别与修正就成为关键所在。以波形相似性作为切入点,利用不同通道数据使用相同里程
机车关键部位,存在许多细小部件,例如机车车底轴承盖上的螺栓。人工检查易疲劳且很难准确记录所有部件的正常状态和形式,容易发生漏检、错检造成严重后果。近年来,在铁路应用方面,基于二维图像的缺陷自动检测系统已经趋向成熟,但仍然存在一些无法逾越的问题,二维平面的检测更加依赖于设备本身的精确度,零件表面油污灰尘易造成遮挡。三维获取数据不仅可以记录物体表面的形态,几何特征,还可以获取空间坐标等信息,将其应用于
图像分类作为计算机视觉研究领域最经典的任务,近些年因为在医学成像精确分类、商品图片自动识别和色情暴力内容有效鉴别等现实应用场景中具有重要应用价值而受到广泛关注。
机器往往比人脑能够存储更多的信息和知识,但人们却不能像人与人之间交流一样很方便地从机器中获取想要的知识和信息,这是由于机器不能很好地准确理解人类的语言,进而针对人
海底隧道近年来逐渐成为连接海峡、海湾、海岛之间的主要交通方式,与此同时,我国各地面临的地震灾害依旧给人民的经济、精神造成巨大损失,作为新时代的主要交通方式,势必需要对地震灾害可能带来的危害引起重视,防患于未然。目前,对于海底沉管隧道的研究颇多,有各大、中、小比例尺的物理实验,也有各种对于沉管模型的数值模拟分析,但以往分析主要集中在沉管管段自身的抗渗等力学性能和管节在施工过程中的对接问题等,对管节接
随着物联网的不断发展,需要网络能够保障各种传感器产生的多业务流量不同的服务质量(Quality of Service,QoS)需求。软件定义网络(Software Defined Network,SDN)通过集中控
单目场景图像的深度估计应用在3D场景重建,视觉导航,图像分割,人体姿态估计等众多视觉任务中,其目的在于从一个二维图像中获取图像的场景深度信息。现有基于深度学习方法,在