论文部分内容阅读
数据流挖掘是当今的热点问题之一,具有广阔的发展前景。离群点检测是数据挖掘的基本任务之一,具有非常重要的研究价值,始终受到研究人员的重视。虽然传统静态数据集的离群点检测已经取得了十分丰硕的成果,但是其处理方法不能直接应用于数据流之中,因此,数据流中离群数据挖掘问题亟待解决。本文借鉴数据流挖掘已有的处理方式,提出了基于滑动窗口模型的数据流离群点检测算法,并对其做了进一步的优化处理。本文的主要研究成果包括以下方面:①首先回顾了数据挖掘的研究现状,叙述了数据挖掘的功能、过程以及应用价值。其中着重介绍了离群点检测的意义,并对其方法进行了分类概括。为了挖掘数据流中的离群数据,本文分析了数据流的特点,并且总结了对其进行挖掘时常用的处理模型。②对目前比较重要的数据流离群点检测方法——基于聚类的方法和基于距离的方法,分别进行了简要的介绍,并对它们的优点和不足进行了分析和总结。③在前人研究成果的基础之上,提出了一种基于滑动窗口模型的数据流离群点检测方法SODS。该方法使用简单的滑动窗口对数据流的新旧数据更迭进行有效管理,其正确性是可以接受的。由于算法采用的数据结构有效地降低了近邻集统计时的计算量,并且在离群点查询处理时利用安全点概念进行精简,使得该算法的时间性能要好于同类算法。④以SODS算法为基础,提出了剪枝算法SODS1,有效地削减了冗余计算,提高了算法时间性能;对滑动窗口添加缓冲机制,得到了BSOD算法,避免对窗口边界附近数据点的近邻集进行统计时的不公平现象,有效降低了算法的误判率。论文中提出的算法采用真实数据集进行实验,分别从检测率、误判率以及单点平均处理时间和查询响应时间进行了比较分析。实验结果表明,算法SODS具有很好的正确性和时间性能;算法SODS1在窗口宽度不断增大的过程中,时间性能逐渐好于SODS算法;算法BSODS的响应时间要长于SODS1算法,但是并不明显,而误判率却得到了很好的控制,要明显低于SODS1算法。