论文部分内容阅读
随着信息技术的高速发展,越来越多的数据从人类的社会生活场景中产生,从而导致数据出现了爆炸性的增长,与传统静态数据不同,这种新出现的数据形式具有高维度、高速性、动态变化且连续和数据量庞大等特性,一般称之为数据流。数据流的这些独到特征吸引着学者们的广泛重视。数据流的动态变化性与概念漂移息息相关,这导致概念漂移普遍存在于数据流中。因此带有概念漂移的数据流学习逐渐成为了一个热门领域。概念漂移检测技术经常结合其它数据分析技术应用于网络新闻热点、电信诈骗、服务器调度、消费者购物行为分析、网络账户安全等领域。
本文将数据流分为单类别数据流和多类别数据流两种情况,单类别数据流即数据流中数据实例属于同一个类别,多类别数据流,即数据流中数据实例会有多个类别。本文针对这两种情况基于多尺度窗口机制,提出了对应的数据流概念漂移检测算法,在研究分析中主要进行以下工作:
1.针对单类别数据流,提出基于多尺度窗口判断函数的概念漂移检测算法。考虑到数据样本同属于一个类别,可直接获取准确的概率分布。算法在数据流样本的每一个维度上保持两个多尺度窗口,分别为基准窗口和滑动窗口。第一步针对基准窗口,运用指数族和KL理论计算正常概念的转换矩阵并构造指数族概率密度函数。第二步,计算滑动窗口内待检测数据的判断系数,获得滑动窗口内样本的判断系数矩阵,第三步,利用灰色关联分析求取各个维度的权重,计算融合判断系数,并与阈值相比判断是否发生概念漂移,并利用一维数据集和高维数据集做相关实验。
2.针对多类别数据流,提出基于多尺度窗口加权聚类的概念漂移检测算法。考虑到多类别数据流内部类别分布顺序可能无法得知以及获取实例真实类别标签代价巨大。本文研究了基于信息熵加权聚类算法,并基于该算法提出了概念漂移检测算法,该算法维持两个多尺度窗口,分别为基准窗口和滑动窗口。第一步,对基准窗口所有样本使用基于信息熵加权聚类算法计算正常概念实例的质心集合。第二步,利用质心集合计算基准窗口中的小窗口中样本的总平均距离,获得一个的总平均距离序列。第三步,结合统计过程控制计算阈值,第四步计算滑动窗口小窗口待检测样本的总平均距离,并和阈值相比判断是否发生概念漂移。并且根据数据变化的趋势可以判断出具体的概念漂移类型。并利用突变漂移数据集和渐变漂移数据集做相关实验。
本文按照数据流的特点将其分为单类别和多类别数据流,从概率分布和样本间距离的角度分别针对单类别数据流和多类别数据流提出对应的概念漂移检测算法,并且通过利用多种类型数据集做相关实验证明了算法的有效性。
本文将数据流分为单类别数据流和多类别数据流两种情况,单类别数据流即数据流中数据实例属于同一个类别,多类别数据流,即数据流中数据实例会有多个类别。本文针对这两种情况基于多尺度窗口机制,提出了对应的数据流概念漂移检测算法,在研究分析中主要进行以下工作:
1.针对单类别数据流,提出基于多尺度窗口判断函数的概念漂移检测算法。考虑到数据样本同属于一个类别,可直接获取准确的概率分布。算法在数据流样本的每一个维度上保持两个多尺度窗口,分别为基准窗口和滑动窗口。第一步针对基准窗口,运用指数族和KL理论计算正常概念的转换矩阵并构造指数族概率密度函数。第二步,计算滑动窗口内待检测数据的判断系数,获得滑动窗口内样本的判断系数矩阵,第三步,利用灰色关联分析求取各个维度的权重,计算融合判断系数,并与阈值相比判断是否发生概念漂移,并利用一维数据集和高维数据集做相关实验。
2.针对多类别数据流,提出基于多尺度窗口加权聚类的概念漂移检测算法。考虑到多类别数据流内部类别分布顺序可能无法得知以及获取实例真实类别标签代价巨大。本文研究了基于信息熵加权聚类算法,并基于该算法提出了概念漂移检测算法,该算法维持两个多尺度窗口,分别为基准窗口和滑动窗口。第一步,对基准窗口所有样本使用基于信息熵加权聚类算法计算正常概念实例的质心集合。第二步,利用质心集合计算基准窗口中的小窗口中样本的总平均距离,获得一个的总平均距离序列。第三步,结合统计过程控制计算阈值,第四步计算滑动窗口小窗口待检测样本的总平均距离,并和阈值相比判断是否发生概念漂移。并且根据数据变化的趋势可以判断出具体的概念漂移类型。并利用突变漂移数据集和渐变漂移数据集做相关实验。
本文按照数据流的特点将其分为单类别和多类别数据流,从概率分布和样本间距离的角度分别针对单类别数据流和多类别数据流提出对应的概念漂移检测算法,并且通过利用多种类型数据集做相关实验证明了算法的有效性。