论文部分内容阅读
在数据挖掘过程中,常常存在与数据模型或数据一般规律不符合的数据对象,这类与其它数据不一致的数据对象就称为异常数据,它们往往容易被人们所忽略。然而,这些数据对象可能是具有特殊意义的,而且相对于那些普通的数据而言,这类异常的数据往往包含着更多重要的信息和知识。因此,如何检测出这些异常是很有意义的一项研究工作,具有一定的研究价值。
时间序列是一种常见的数据类型,由于时间序列数据有序性的特点,使得其异常检测比普通数据集合更为复杂。本文主要研究时间序列中异常检测的方法,并结合水文领域的知识和实验数据的特点,将方法应用到水位时间序列的异常检测中。
本文的主要工作有以下几点:
(1)对数据集合中的异常检测方法进行研究,分析并总结了各类检测方法的优缺点,并比较了各自适用的范围。
(2)阐述了时间序列异常检测的相关概念,研究了时间序列中异常点的检测方法。结合水位数据的特点,引入了平均变化量、平均变化率这两个统计量,并在其基础上给出了水位时间序列中异常点的定义,提出了基于累积变化量检测水位时间序列中异常点的方法。使用太湖流域五个测站的水位数据进行实验,并对检测出的异常点进行了归类、分析和修正。
(3)本文讨论了时间序列模式和异常模式的相关概念,研究了时间序列中异常模式的检测方法,分类总结了目前已有方法的特点。给出了水位时间序列异常子序列和异常模式的定义,提出了基于距离度量检测水位时间序列中异常模式的方法。通过实验证明了方法的有效性,并对结果进行了详细分析。