基于Hadoop的并行FP-Growth算法的研究与实现

来源 :微电子学与计算机 | 被引量 : 0次 | 上传用户:zwb1102
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在PFP(Parallel FP-Growth)算法的基础上提出了一种负载均衡并行的挖掘算法LBPFP(Load-Balanced Parallel FP-Growth)算法,该算法在Hadoop框架实现并行计算的同时,在数据分发中利用负载均衡策略,使主节点均衡地向子节点分配数据.除此之外,在子节点进行数据处理的过程中利用剪枝策略,减少数据的处理量,该算法在提高并行计算能力的同时也大大缩小了数据的处理量.最后,通过实验分析表明该算法在大数据的处理中具有较好的效果,证实了该算法的可行性.
其他文献
针对投影式移动设备的投影图像几何失真问题,提出了一种基于图像变形算法的投影图像几何失真校正的硬件架构,并针对硬件实时性及功耗问题提出了解决方法.本架构设计了基于奇偶存储机制的双行缓存,实现了片外插值像素的并行获取,降低读取延时;基于数据复用原理设计了冗余消除单元,有效避免片外像素的重复读取及功耗,读取次数平均减少61.5%,减小读取功耗;存储空间消耗仅为11.9kB.本设计还引用了无除法的中点算法
春风十里 鸢飞花里 你和春天一起来到我梦里 身披春光 飞翔万里 思念与优伤唇齿相依 万物生长 温柔春雨 想你的感觉温暖飘逸 太阳升起 明亮欢喜 明天一定要和你在一起
期刊
要促进黔东南的旅游业发展,一是应引入市场机制以企业运作促发展;二是旅游开发必须突出地域性和民族性文化的支撑作用;三是要通盘策划选择客源市场进行全方位的宣传;四是必须
在航天器控制计算机的软硬件协同设计过程中,功耗建模是一个必不可少的步骤.基于工作集选择的支持向量回归方法是将功耗经验数据训练为功耗模型的有效手段.现有的工作集选择
淡定的人生少烦恼,平凡的日子尽情好,我没有豪华汽车充门面,出门我步行或坐公交。
2019年9月16日下午,中国建筑金属结构协会党支部在211会议室召开“不忘初心、牢记使命”主题教育动员部署会,住建联合党委纪委副书记、中国建筑金属结构协会党支部书记宋为民
9月24日至28日,湖南省音乐家协会、长沙市音乐家协会主办喜迎十九大——“潇湘好歌”湖南词曲作家浏阳河采风创作笔会,来自长沙、株洲、湘潭、衡阳、郴州等市州的40余名词曲作
芸芸众生来来往往同在地球谁不在为扮演角色努力追求人生如戏全凭演技八仙过海唱做念打各显身手
有句话儿很微妙,刚一出口春来到。小小磕碰说:您好烟消云散阳光照;彼此误会说:您好春风拂面送微笑。