面向分布式数据流的聚类算法的设计与实现

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:augsep
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,许多应用数据来自于多节点的分布式网络环境,因此,分布式数据流近年来受到广泛关注。许多应用都具有分布式数据流特征,如web上多个节点形成的同一个服务器的用户点击流、一个传感器网络中的不同节点收集的多条数据流。由于分布式数据流挖掘还处于探索阶段,研究对应的模型和算法来提高挖掘质量或者挖掘效率是一项重要的工作。   与传统的数据挖掘领域的研究一样,针对分布式数据流的挖掘技术的研究也包括分类、聚类、关联规则等方面。其中,聚类分析作为数据挖掘的一项主要功能和任务。成为数据挖掘中的一个重要的研究领域。虽然至今已提出了大量的相关理论和算法,但是,这些理论和算法并不能完全适用于分布式数据流挖掘环境。   针对分布式数据流聚类的问题,本文主要完成了如下的研究工作:   (1)本文给出了详细的分布式数据流的理论定义与形式化描述,针对分布式数据流的自身特点,建立了相关的研究与描述符号。   (2)提出了一个基于数据概要的分布式全局聚类模型(Distributed GlobalClustering Model,DGCM)。   (3)提出了一个局部增量式聚类算法(Local Incremental Clustering algorithm,LIC)来处理局部节点(单)数据流的增量式聚类,并提出了一个局部概要生成算法来对每一次产生的局部模式生成其相应的数据概要,进而上传给中心节点产生全局模式。   (4)在中心节点,提出了一个全局凝聚聚类算法(Global AgglomerativeClustering algorithm,GAC),通过对上传的局部模式的合并与分裂,进而产生全局模式及全局概要。为了有效的处理局部模式的合并与分裂,本文提出了一个新颖的还原点算法(Revert Sample Points algorithm,RSP),它能够基于概要产生相应的数据样本点。在进行局部模式的合并时,我们利用还原点算法对合并前后的簇进行评估,若有相应的改善则进行合并,否则,则放弃合并。   (5)本文对DGCM所产生的全局模式与相关的分布式数据流聚类算法进行了对比实验,实验表明,本文所提出的模型和算法能在有效降低通信代价的前提下,保证了较高的聚类质量,给出的全局模式,能够明显高于模式集成所产生的全局模式,而接近于数据集成产生的全局模式。  
其他文献
11月6日晚,建筑门窗幕墙行业“奥斯卡”金轩奖颁奖盛典暨中国国际门窗城与中国国际门窗幕墙博览会联合招待晚宴在京举行。本届金轩奖特别大奖“行业特别贡献奖”颁给了中国建
该文通过对Micosoft的SQL SERVER关系数据库、一系列新技术及配套开发工具以及一些常用网络数据库开发方案的分析,并结合南京航空航天大学网络排课信息调度系统的设计,论述如
休眠功能是商用操作系统向用户提供的一个重要功能,它可以根据用户的设定,在计算机空闲时将系统转入不同程度的低功耗运行状态。本文在分析休眠功能的几种不同策略的原理和流
三分之一的病不治也好,三分之一的病治也治不好!日前,在由人民网、健康时报主办的第九届健康中国论坛上,中国工程院副院长、中国工程院院士樊代明的诸多话,让现场数百名听众掌声不断……  01  说医学研究:我们发了大量的科学论文,最后与治病无关,这样的医学研究,这样的医学教育不改行吗?  我们用解剖刀把整体变成了器官,用显微镜把器官变成了细胞,又把器官变成了分子,然后在分子之间不能自拔,有医生告诉我“我
期刊
由于大规模的地震数据和算法复杂度的不断增加,常用的计算技术已不能满足其高效性。地震资料处理中的动校拉伸频谱补偿、匹配追踪以及线性加法器,这三大地震数据处理模块都由
本文深入分析中国6个代表性碳金融市场的成交价,并以此为研究对象,采用基于MCMC算法的SVCJ模型来对中国碳金融市场价格的跳跃概率、跳跃幅度进行估算和测量,通过跳跃扩散强度
文章先分析了投资者情绪和股票市场研究现状,随后介绍了投资者情绪和股票市场波动关系,包括股票市场波动随投资者情绪提升、股票上涨会强化投资者乐观情绪、股票长期下跌会使
文章基于烟草企业加强人才队伍建设所起到的作用,分析目前烟草企业开展人才队伍建设时表现出的问题,提出了目前高质量发展理念下的人才队伍建设策略,以供参考.
山西有着悠久的历史,在中国历史上具有重要而独特的地位。作为中华民族的发祥地、民族融合的大熔炉、盛唐王朝的隆兴地、明清商票的大本营、华北敌后抗战的中心,山西以其得天独厚的地理位置、刚毅质朴的精神风貌、光照千秋的丰功伟业,享誉华夏,闻名海外。  春秋战国时期,山西是五霸之一的晋国所在地。从一代雄主晋文侯强势复宗,到晋献公继文绍武开疆拓地,再到晋文公弃怨任贤举善援能,整饬吏治奖励垦殖,改革兵制安众稳政,
期刊
快过年啦!传统习俗,从腊月二十三小年开始,各家各户都进入过年的准备期。二十三,糖瓜粘;二十四,扫房子;二十五,磨豆腐;二十六,割年肉;二十七宰公鸡;二十八把面发;二十九蒸馒头……那些年俗,你还知道多少?  腊月二十三,俗称“小年”,传说区日是“灶王爷上天”之日。  腊月二十四,掸尘扫房子,区日是约定俗成的扫除日。  腊月二十五,推磨做豆腐。传说王帝合下界查访,吃豆腐造以表示清苦。  腊月二十六,杀
期刊