论文部分内容阅读
随着计算机技术的不断发展和日益普及,特别是数据库技术的广泛应用,各行各业都产生了大量的数据,而如何从这些海量数据中寻找有价值的信息则成为了一项非常艰巨的任务。数据挖掘技术正是为解决这一问题而出现的,并且已逐渐成为当前计算机领域研究的热点之一。
数据挖掘(Data Mining),又称为数据库中的知识发现(简称KDD),是从大量数据中提取或者“挖掘”知识的一个过程,而其中的分类问题已是在数据挖掘和机器学习领域广泛研究的问题。分类方法是一种基于监督的学习方法,是使用一组已知类编号的数据集来预测另一组未被编号的数据集。而网络等信息技术的迅速发展和广泛应用产生了大量的数据流,如:超市交易记录、网络搜索请求、电信通话记录等。这些数据流中隐含着丰富的有价值的知识亟待挖掘。然而,由于数据流具有快速性、无限性、连续性、多变性等特征,特别是其中隐含的概念漂移现象使得大多数传统的分类算法无法应对数据中概念的快速变化而导致分类器精度大幅下降,并且因为传统数据分类需要多遍扫描数据库以及存储全部数据使其并不能应用于数据流这种需要高速数据处理的环境。所以,针对数据流的分类算法已成为数据分类领域中的重要组成部分。
目前,数据流分类的软件已经被广泛地运用到了各行各业,如天文系统软件、地理信息系统软件、实时商业决策支持软件,还有工业控制软件都能看到数据流分类的应用,但是还有很多潜在的应用没有被挖掘出来。比如,对城市中安全探测器所传出的数据的分类,在科学研究中,能通过实时分类分析,对实验任务的变更和实验参数的改变等都是可以起到指导作用的。而在金融市场中的应用则更为丰富,如对股票信息和期货信息的分类都能起到很有效的结果。因此,研究高效的数据流分类知识发现算法成为重要的研究课题,特别对于数据流中概念漂移问题的研究将对数据流上的分类效果产生巨大的影响。
本文首先分析了数据流中的数据分类问题,然后着重讨论了数据流分类中的概念漂移问题。在此基础上,通过分析单窗口概念漂移检测模型,提出了基于多窗口的概念漂移检测及处理算法,并通过实验证明了该算法适用于数据流中概念变化较为稳定的情况。随后,通过使用状态跳转概念,构建了基于状态跳转的概念漂移检测及处理算法,该算法使用状态跳转矩阵对数据流上的概念漂移做出快速预测,并通过预测结果更新基分类器。通过实验与结果分析,证明了该算法在数据流上有大量重复概念出现时有着较高的效率。具体地,本文主要开展了以下研究工作:
(1)概述了数据流的定义、特点、应用领域、理论基础及其数据处理方法;阐述了概念漂移问题的定义、分类和度量标准;详细总结与分析了数据流及其概念漂移问题的国内外研究现状及存在的主要问题,探讨了概念漂移研究中的关键问题及技术。
(2)通过对单窗口概念漂移检测模型的分析,引入了多窗口概念漂移检测与处理算法。多窗口处理模型是使用多个滑动窗口对数据流进行取样,通过不同长度的窗口适应数据流上不同变换速率的概念漂移。通过实验与结果分析可知,多窗口处理模型在数据流中概念漂移变化速度较为稳定时表现出了极高的算法效率。
(3)为处理数据流中概念重复出现的情况,引入了状态跳转概念。通过使用概念漂移检测模型、状态跳转模型及低频概念消减模型构建了基于状态跳转的概念漂移检测及处理算法。该算法通过使用状态跳转矩阵,对数据流上将要出现的概念进行预测,并使用预测的数据对基分类器进行快速更新,以适应数据流上概念的变化。通过实验与结果分析可以证明此算法可行,并在数据流上概念总数较少且重复出现的情况下,有着极高的算法效率与分类准确率。