数据流容错挖掘算法研究

被引量 : 0次 | 上传用户:psyche_runner
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
容错数据挖掘最早是由C. Yang等人在2001年提出的,其基本思想是通过引入松弛条件、允许挖掘合理范围内的错配、放松模式间的包含关系来挖掘真实世界数据集中有效的泛化知识,因其广泛而实际的应用前景引起了众多学者的极大重视。随着数据流应用的不断增多,研究数据流环境下的容错挖掘算法受到了越来越多的关注,传统基于严格匹配的数据挖掘技术难以实现对数据流环境下的容错模式进行有效挖掘,在这种背景下有必要研究高效的数据流容错挖掘技术。目前关于容错数据挖掘的相关研究主要集中在容错频繁模式挖掘和容错概要数据结构构造技术两个方向。研究数据流环境下容错挖掘算法的主要挑战之一是来源于规模巨大的容错搜索空间和数据流环境下对挖掘算法复杂性的严格要求之间的矛盾,构造单次扫描、高压缩的容错概要数据结构和增量的挖掘算法是有效的解决方法。本文将容错概要数据结构构造技术作为研究工作的重点,在此基础上实现数据流环境下的容错挖掘算法,并且对相关的挖掘技术行了系统地探索。文章主要研究内容如下:构造容错前缀树形概要数据结构DSFT-tree来获得含有错配的频繁项集,通过定义容错界限来限定容错程度,进而实现可控容错。利用位向量表达方法和结点指针技术提高容错概要数据结构的构造效率。为了避免当新的数据到达时树形概要结构的结点发生频繁的分割、合并和交换计算,利用分支重构技术以路径为最小计算单位提高DSFT-tree的重构效率。实验结果表明DSFT-tree算法能够对具有容错特性的频繁项集进行高效压缩,并且算法效率满足数据流环境下对概要数据结构的时间复杂度和空间复杂度的要求。扩展定义容错Top-K频繁项集的概念并给出了相关性质,实现了数据流环境下的Top-K容错频繁模式挖掘算法,并对算法的复杂性进行分析。扩展定义了容错负关联规则并证明了容错正、负关联规则之间的相关性,利用相关关系进行冗余模式消解,快速剔除容错频繁模式挖掘过程中产生的无效短模式、冗余模式和重复表达,提高容错挖掘的有效性。提出容错搜索空间边界函数的形式,采用该方法有效缩小容错所搜空间规模。相关研究已经证明,通过有限次惰性提升可以构造现有的所有小波函数,利用提升小波的这一优势可以根据原始数据流的特性或应用背景需要有针对性的构造概要数据结构,使之能够更好地实现对原始数据流的压缩表达。提出基于相似性度量和提升小波技术的通用层次容错小波概要数据结构构造算法HLSFTS,当容错等级为零时可以实现对原始数据流的无容错表达。仿真实验分析表明本文提出的HLSFTS算法具有容错程度可控、单次扫描和压缩率高等特点,是有效地小波概要数据结构构造方法。研究基于二层框架的数据流容错聚类算法FTGDStream,采用HLSFTS概要数据结构和基于网格密度的聚类算法进行数据流二层容错聚类。利用数据流二层框架的灵活扩展性,采用HLSFTS概要数据结构实现在线过程。基于网格密度的聚类算法能够聚类任意形状的数据,但当数据量较大的时候,因将原始数据映射到网格的过程中需要处理的数据较多而造成算法效率下降,利用HLSFTS概要数据结构的高压缩特性与基于网格密度的聚类算法互补使得这一思路具有独特的优越性,只输出很少的小波系数,提高网格密度的聚类算法的效率。
其他文献
<正>【课标要求】1.当今世界政治格局的多极化趋势(1)了解美苏两极对峙格局的形成,认识美苏冷战对第二次世界大战后国际关系发展的影响。(2)简述欧洲共同体的形成、日本成为
教师教育面临的一个重要挑战是行动问题。主要表现为理论与实践相脱节、实践环节薄弱,无法有力地促进中小学教育质量提升。针对其产生的根源,解决行动问题要认识到教学和教师
燃煤电厂排放的气体中包含有毒物质,长时间积累会造成人体伤害,对于人们生活环境存在潜在的隐患。文章介绍了燃煤电厂烟气脱硫脱硝技术的研究现状,并介绍了燃煤电厂烟气脱硫
本文介绍一种线性热敏电阻温度传感器的设计方法并给出实用电路.结果表明:该线性热敏电阻温度传感器温度的输出电压与温度成良好的线性关系,实测结果的最大非线性误差不超过0
复杂构造建模理论研究的目的在于探寻模型内部的约束机制,其中以反映褶皱形态、断层形态和断层位移之间定量关系的断层相关褶皱理论最为成熟,其分析方法对于上地壳、低温和非
民族传统体育蕴含着丰富的民族文化和历史传承内涵,是各民族生产生活历史过程中的直观体现,有较高的历史和文化价值。随着国家对文化特色的保护和民族文化传播的重视,非物质
以CNKI和Ebsco数据库中主题为"知识管理""图书馆"的国内外期刊论文为研究对象,对发文量、载文期刊及分布进行统计对比;使用Bibexcel和Pajek软件对文章关键词词频进行定量统计
以某款混合动力汽车为研究对象,针对其非稳态工况下的车内噪声声品质进行研究。对采集到的噪声信号烦躁度指标进行主客观评价试验,得到非稳态工况下车内噪声的声品质特性。使
埃及地处非洲的东北部。大约2万年前,古埃及人就在尼罗河岸边的高地上过着狩猎采集的部族生活。这是最早的人类文明之一,孕育了人类历史上最早的玻璃工艺。古代埃及的玻璃工
麦金太尔美德伦理摄义王今一阿拉斯戴尔·麦金太尔(AlasdairMacIntyre,1929—)是当代美国享有盛名的伦理学家。意大利学者乔凡娜·波拉多芮对麦金太尔的思想旨趣有一段精当评语:“阿拉斯戴尔·麦金太尔