流数据概念漂移及演化的检测方法研究

来源 :山西大学 | 被引量 : 0次 | 上传用户:changaty
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息采集和数据处理技术的深入推进,流数据已成为数据挖掘领域的一种重要存在形式,其最大的特点就是带有时间标记,因此也称作时间序列数据。由于流数据的动态多变特性,其所蕴含的概念分布会随着时间或环境变化而发生改变,如:数据源的分布变化可能导致隐含的概念知识与原始数据不同,即发生概念漂移;数据源产生机制变化可能导致数据中有新的模式类别出现,即发生概念演化。针对非稳态环境下流数据存在的不同概念变化问题,设计有效的流数据概念漂移及演化检测方法,有助于深入研究概念漂移及演化的本质特征,对于流数据的深入分析挖掘具有重要意义。本文针对概念漂移及概念演化的检测问题开展研究,具体研究内容包括两个方面:(1)针对流数据中同时存在的由样本分布稳定变化引起的真实概念漂移和由样本噪声及随机波动引起的伪概念漂移,提出一种基于在线性能测试的真伪概念漂移检测方法。该方法主要包括通过监测分类性能捕获有效波动位点、通过分组交叉测试提取一致波动位点和通过漂移位点的后续参考位点进行真伪性判定三个核心模块。该方法采用分组交叉测试对流数据的测试性能分布波动进行分析,消除了流数据中存在的正常随机波动导致的伪概念漂移对真实概念漂移检测的影响,提高概念漂移检测的精准性;其次,结合漂移位点后续参考位点的测试性能变化情况,对概念漂移位点做进一步区分,有效识别噪声引起的伪概念漂移与分布变化引起的真实概念漂移。该方法不仅可以准确检测存在的概念漂移位点,同时还能有效区分噪声及样本随机波动引起的伪概念漂移。(2)针对流数据中由于模式类别变化而导致的概念演化问题,提出一种基于完全随机森林的概念演化检测方法。该方法主要包括在线异常检测、模式类别标记以及学习器更新三个步骤。该方法首先基于完全随机森林构建异常样本检测器,利用检测器区分已知类样本与异常类样本;然后将K-近邻策略融入到模式类别标记过程,计算异常样本与已知模式类别以及新模式类的相似度,以进一步确定异常样本属于新颖类或已知异常类;最后根据模式类别分析结果进行学习器更新,提高了新模式类别的检测准确率。该方法的研究成果不仅能及时准确地检测流数据中存在的新颖模式类别,而且能够确保模型检测到更多新类样本。本文的研究工作为流数据中存在的概念漂移及概念演化的定位、分析、建模及挖掘提供了有效路径,提高了流数据中数据分布及标签类别改变时的模型适应能力,可为非稳态环境下的流数据分析挖掘提供精准指导和模型保障。
其他文献
本课题的主要研究内容是针对壹百元人民币的真伪鉴别,但研究的理论价值可以应用到整个印刷品行业以及法医文书鉴定和文物字画等多个领域,选择壹百元人民币作为本课题的样品是因为它是国家发行印刷面额价值最大的纸币,具有较高防伪特性和权威性,以它作为研究样品使的本课题的理论更加严谨。本论文创新性提出了使用高光谱成像技术进行纸币防伪无损检测的方法,高光谱技术因其较好分辨率和图像采集能力,在大气探索,航天遥感,环境
高中足球一直以来不断地进行着体育教学改革,但是始终没能摒弃陈旧的观念,走出传统的教学模式。但是随着体育俱乐部在我国高中中悄然兴起,并以课外体育组织的形式开展活动,给我们
运用价值链会计理论。通过实例分析,探讨了业务外包决策最佳方案的选择问题,以此提升企业的核心能力。
《看理想》系列节目开播以来就引起一阵文化热潮,其全方位的传播模式亦引起大众关注,不管是优酷土豆双平台独播,还是《看理想》APP的内容延伸,亦或者周边产品的售卖,《看理想
“两法”采取了分散立法模式,因而政府采购法制体现出分散不统一的状态,割裂了政府采购行为,加之行政主导立法模式的干预及立法条件的制约,造成了“两法”之间的差异和重叠现
目的探讨养老机构老年人健康素养与健康状况、健康服务利用的关系。方法 2011年9月—2012年6月,通过分层整群随机抽样法,从2011年乌鲁木齐市27所登记在册的养老机构中抽取15
目的探讨北京市社区脑卒中高危人群患病危险因素,以提出针对性的防控措施,降低社区脑卒中发病率。方法 2012年7—10月,以北京市天桥社区≥50岁的本市常住居民为研究对象进行
古代中国的政教冲突主要指政权与宗教组织间的冲突。引发政教冲突的表层要素除了常见的政教间、宗教间的矛盾以外,统治者的个性因素不容忽视。引发政教冲突的深层要素源自政
关中民俗文化是关中地区特有的文化现象。随着我国各地区民俗文化研究的深入,其越来越受到社会各界的重视。动画作为一种传播媒介形式,具有特色鲜明、平易近人的特点,将关中
在音乐教学中,教师常常会陷入两难境地:如果让学生老老实实地坐着,课上起来轻松,课堂气氛却死气沉沉;如果放开学生手脚,学生热情高涨,跃跃欲试,却被人批评说:“太乱了,不象话