论文部分内容阅读
离群点检测是数据挖掘领域研究的重要问题之一,与其他数据挖掘研究的任务不同,离群点检测着力于从数据集中发现与其他数据显著不同的一小部分对象。目前离群点检测已经在许多领域得到了广泛的应用。随着时间序列数据使用的越来越频繁,时序离群点检测任务也显得更为重要。
目前虽然有许多针对时序离群点的检测算法被提出,但其中大多数算法没有考虑时序数据本身的周期性,而且离群点的判断以及离群程度和不同时间粒度相关。
本文主要针对时序离群点检测中的如上问题进行了研究和讨论,所做的研究工作和成果主要体现在以下几个方面:
(1)对时序离群点检测研究现状进行综述,并着重讨论了时序数据中的周期模式发现算法和离群点检测算法。
(2)提出了一种基于时序数据的部分周期模式发现算法PARTY。由于大部分时序数据的周期长度都是事先无法知晓的,所以需要提前给定周期长度的一类算法是不适用的。PARTY算法无需任何数据的先验知识即可得到所有周期长度下的部分周期模式,而且用户能够根据自身需求通过调节相关参数来得到想要的结果。值得一提的是,PARTY将时间信息加入模式结构,这是以往算法很少做到的,而时间信息对一些应用来说是必不可少的。我们在人工和实际数据集中分别进行了实验,结果验证了本算法的有效性。实验中还分析了参数的变化对结果的影响,这对用户选取参数值将起到指导作用。
(3)针对实值性属性的时序数据,提出了一种基于多粒度周期模式的时序离群点检测算法DOMAIN。该算法能够探测不同的时间间隔粒度下的周期模式,并利用得到的结果来发现那些偏离周期模式的离群点。该算法能够避免将较大时间粒度下的周期性正常数据误报为异常值。我们通过实验验证了算法探测周期模式的正确性以及基于多粒度周期模式的时序离群点检测算法的有效性。