增量式概念漂移适应与收敛

来源 :浙江师范大学 | 被引量 : 0次 | 上传用户:jaczolo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
概念漂移是数据流挖掘的一个研究热点与难点,也是现实世界和网络世界中普遍存在的一种现象。随着互联网技术的快速发展,愈发受到学术界与民众的关注。目前概念漂移尚未有统一定义,主要泛指的是在动态变化中信息系统的部分内涵信息或特征信息会随时间发生难以预测的变化,使原有的分类器分类不准确或决策系统无法做出正确决策,甚至导致误判等不良后果,常见于推荐系统、金融领域、决策领域等。目前多数学者对概念漂移的研究态度还处于简单规避的层面,对概念漂移的发生条件、趋势相关的研究还很少,对于如何判断认知收敛更是研究盲区。同时在数据流中时常会发生快速而又细微的概念漂移现象,这些概念漂移在短时间内对决策系统造成的影响微乎其微,因此往往被人忽略。但随着时间的推移,有些效果相同的影响会逐步叠加,导致决策系统的精度下降,目前还缺乏合适有效的方法来解决这类问题。粗糙集理论是一种专门用于刻画数据不完整性和不确定性的数学工具,能够有效地分析和处理信息系统中各种不精确、不完备的信息,并且可以在没有任何先验知识的情况下对数据进行分析和推理,得到相对客观公正的处理结果。由于粗糙集理论在处理不确定性问题上的独特优势,逐渐被应用于概念漂移探测。本文的研究内容为:一方面尝试将增量学习思想与传统粗糙集模型相结合,结合两者优势,构建一种能适应快速变化数据流的增量式概念漂移探测模型,去探测数据流中快速而又细微的概念漂移,并通过迭代训练不断完善决策系统。理论分析与仿真实验结果表明,新模型在探测概念漂移和学习新知识时较其他静态模型更为敏感且高效。新模型的良好效果也为粗糙集理论未来如何推广应用于大数据分析和数据流处理提供了一种有效可行的新思路。另一方面利用本文提出的新模型作为研究工具,从整体决策系统的角度来研究概念漂移。在以往学者的研究成果上,对认知收敛的性质和标准做出进一步完善与调整,同时分析了概念漂移与认知收敛之间的影响与联系。从认知角度来看,本文的结果可以解释为什么选用不同数据集或同一数据集不同部分进行分类时,前后结果差异较大的原因。也可以进一步解释现实世界中人与人之间对同一事物产生意见分歧或误解的原因。本文的创新点归纳如下:1.结合增量学习思想与粗糙集理论,提出了一种能适应动态数据流的增量式概念漂移探测模型。2.从粗糙集角度出发,对决策系统中认知收敛的性质和标准做出进一步完善与调整,同时分析了概念漂移与认知收敛之间的影响与联系。3.对概念漂移的内涵与影响做进一步延伸。
其他文献
随着数字图像处理技术的飞速发展及各种智能设备的广泛使用,大规模图像/视频数据库的应用变得越来越普遍。与此同时,出现了许多功能强大且易于操作的图像处理软件,使得即使是
随着互联网的飞速发展,自然语言处理渐渐走在科技前沿且备受研究者青睐。自然语言处理旨在增强人工智能与人之间的沟通,包括了信息抽取、信息检索、机器翻译等多项技术任务,
目的探讨海昆肾喜胶囊对早期期糖尿病肾脏疾病患者尿蛋白的影响。方法选择2010年1月~2012年1月在我院肾内科确诊的临床期糖尿病肾脏疾病(Mogensen分期Ⅲ期)患者162例,随机分
会议
多类别文本分类是自然语言处理任务中的一项基础任务,文本分类算法效果的提升,也会使自然语言处理领域诸多其他任务的处理效果得到提升。目前在学术界诞生了种类众多、性质各
随着信息技术和多媒体采集工具的高速发展,使图像、视频、音频等逐渐成为信息传播的主要载体并发挥着至关重要的作用。然而,功能强大的图像编辑工具和易于操作的图像处理软件
随机解调系统(Random Demodulation,RD)是将压缩感知理论运用到模拟信息转换中的一种重要方法,其具有结构简单,硬件可实现性强的特点,在一定程度上可以实现对稀疏模拟信号的
路牌识别技术是现代智能驾驶中一项关键技术,它可以辅助驾驶者准确获取道路信息。在驾驶者对道路情况不熟悉的条件下,避免分散更多精力去辨别路牌信息,有助于行车安全。特别
视频监控系统近年来发展迅速,数据量海量增加。这些海量的数据不仅给人力检索和浏览带来挑战,在数据传输和存储方面也带来巨大的压力。因此,智能视频监控技术成为了研究的热
随着无线移动通信的飞速发展,移动通信网络日趋复杂。一方面,通信设备种类混杂,网络制式多样、网络层次复杂、网络规模庞大等诸多因素使得无线通信网络规划的难度显著提高。
含硫类化合物有着极为普遍和重要的应用价值,S-S键、C-S键在化合物中极为常见,此类结构一般具有很高的药用价值。随着技术的飞速发展,该结构类化合物慢慢应用到了能源开发领