论文部分内容阅读
随着信息科技的飞速发展,在信用卡欺诈监测、网络流量监控和在线金融交易等场景中产生了大量的数据流。这些数据流中蕴含着大量有价值的信息,为了获取这些信息,人们开展了大量的数据流挖掘研究。与静态数据不同,数据流中的数据具有规模大、变化多样、高速到达等特点。因此,传统的数据挖掘技术不能完全适用于数据流挖掘,需要找到合适的方法来处理数据流。另外,数据流中的数据分布会随着时间发生变化,产生概念漂移现象,这也加大了数据流挖掘研究的难度。数据流中的概念漂移检测和数据流分类问题是数据流挖掘领域中的热点问题之一。数据流中的概念漂移检测和数据流分类主要面临以下的挑战:首先,数据流到达速度快、变化多样且无法预知,这些变化会影响分类器的分类性能。其次,数据流也存在静态数据中的类不平衡问题,进一步加大了处理概念漂移的难度,而且对少数类的误分类代价一般较大,对分类器也有了更高的要求。本文主要围绕以上问题,对数据流中的概念漂移检测算法和数据流分类算法进行研究,主要工作包括:(1)提出了一种基于数据分布的概念漂移检测算法。利用基于数据分布差异的检测方法发现数据流中的概念漂移现象,在检测到概念漂移之后,利用多变量检验方法结合存储的历史信息识别数据流中重复出现的漂移现象。通过对比实验验证本文所提出的检测算法的性能,结果显示,该检测算法具有较低的误报、漏报和检测延迟,在和分类器结合之后,有效地提高了分类器的分类正确率,并且可以发现重现的漂移。(2)提出了一种基于集成学习的不平衡数据流分类算法。该算法利用数据采样技术,先利用过采样技术增加正类样本,再利用欠采样技术删除负类样本,从而达到平衡正负类样本的目的。在集成过程中,根据基分类器在最新数据块上的分类正确率和分类错误的代价更新基分类器的权值。同时,在分类器的淘汰过程中考虑到了基分类器对集成分类器分类正确率的贡献。该算法不仅可以处理类不平衡问题,还可以很好地适应数据流中的概念漂移现象。通过对比实验验证了所提出的算法能够在不平衡的概念漂移数据流上取得较好的分类效果。