分布式实时流数据聚类算法及其基于Storm的实现

来源 :南京邮电大学学报(自然科学版) | 被引量 : 0次 | 上传用户:lijun1111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高流数据聚类效率,文中基于经典流聚类算法Clu Stream的思想和Storm的计算架构,设计了一种分布式实时流聚类算法(distributed real time clustering algorithm for stream data,DRClu Stream)。该算法运用滑动时间窗口机制实现多粒度的数据存储;将流数据的在线微聚类部分拆分成局部和全局两个部分做分布式计算,第一部分由多个线程并行进行微簇的局部增量更新,第二部分合并微簇的局部增量结果来更新全局微簇。还设计了DRClu Stream算法基于Storm的实现方案,通过使用消息中间件Kafka和合理部署Storm的拓扑对DRClu Stream算法进行实现。性能分析及实验结果表明:DRClu Stream算法的聚类精度与K-Means相近,且随着local节点(local bolt线程)的增加聚类精度保持稳定,而计算效率呈近线性提升。
其他文献
<正>由上海市法学会劳动法研究会、上海市劳动和社会保障学会劳动法专业委员会、华东政法大学社会法研究所共同主办,华东政法大学劳动法律服务中心承办的"劳动关系的管治与自
7月2日广西区党委书记、区人大常委会主任彭清华到广西安监局进行调研时强调:“安全生产工作任何时候都不能松懈,都不能有侥幸心理。时刮要如临深渊、如履薄冰。要用总书记关于
1对土壤的要求及整地玉米的适应性较强,对土壤条件要求并不严格,但由于植株高大,根系发达需肥较多,为了使其生长良好,压取高产,要土层深厚疏松,有机质丰富,通透性良好,保肥蓄水力强的
根据世界各国对矿井事故的调查,在火灾、爆炸等事故发生现场瞬间受到死亡的矿工只占事故伤亡人数的一部分。在相当一部分矿工都是因为在井下透水或火灾、爆炸后不能及时升井
目的探讨船形改良拱顶石穿支岛状皮瓣修复跨关节部位软组织缺损的临床效果。方法用改良拱顶石穿支岛状皮瓣修复跨关节部位皮肤及软组织缺损8例,缺损面积为5 cm×7 cm~9 cm×1
目的:探讨保乳手术治疗早期乳腺癌的临床效果。方法:将2014年1月~2015年1月某院收治的60例早期乳腺癌患者,随机分为观察组30例(采用保乳手术进行治疗)和对照组30例(采用改良
为确保尾矿库安全度汛,坚决遏制溃坝、垮坝事故.河池市精心部署,严防死守。加强检查,强化措施,多措并举,全力加强汛期尾矿库安全监管工作。
酒精中毒引起中枢神经系统的损害,在临床上已予以肯定。我们对近二年收治的14例酒精中毒患者做了脑电图与临床观察发现酒精中毒病人的脑电图可有不同程度的异常变化。临床症
承担优秀传统文化的传承是职业中学不可推卸的责任之一,川西民间古旧家具作为中国民间古旧家具的一个分支,具有鲜明的川西传统文化特色,负载着不同时代川西传统文化的优秀品
近年来,反洗钱工作越来越受到政府及金融监管部门的重视。2014年新疆暴恐活动猖獗,中国人民银行下发了一系列反恐怖融资的文件;中国银行某些分支行员工对外宣称可以协助客户