【摘 要】
：
针对FP-Growth算法面对海量数据挖掘时串行操作机制出现内存瓶颈或者数据挖掘失效等问题,提出将基于Spark平台的FP-Growth算法在数据分组策略和项头表结构两方面进行优化。一
【机 构】
：
湖南省飞机维修工程技术研究中心,长沙航空职业技术学院航空电子设备维修学院,中南大学软件学院
【基金项目】
：
湖南省教育厅科学研究基金资助项目(17C0009)
论文部分内容阅读
针对FP-Growth算法面对海量数据挖掘时串行操作机制出现内存瓶颈或者数据挖掘失效等问题,提出将基于Spark平台的FP-Growth算法在数据分组策略和项头表结构两方面进行优化。一方面提出一种S型的负载权值均衡分组的方式;另一方面,设计出一种新的项头表结构,此结构包含Hash查找表,能有效降低查找时间复杂度。实验证明,优化的基于Spark平台的FP-Growth算法(OptFP-Spark算法)具有更高的并行运算加速比、更好的并行挖掘效果及更高效的计算效率。
其他文献
随着人们消费结构的升级和对旅游需求的释放,世界民航开始进入品牌竞争阶段。纵观世界上屹立百年的大企业,无一不是伴随着品牌成长的历程而发展起来的。对于我国航空公司来说
随着保险行业的壮大,保险资金如何高效率的投资成为各大公司亟需解决的问题。我国目前对于保险资金的投资比例还处于初生时期,不尽完善,投资收益率起伏比较大,而资产总额以及
应用最优控制理论,提出新的双振动电机的相位同步控制策略。双振动电机在振动机械,如振动筛、振动打桩机及振动成型机等,有着广泛的应用。现代的双振动电机以相位控制同步方
今年的巴塞尔艺术展,似乎并未收到全球经济危机的影响,依旧展商云集,盛况空前。随着6月9日上午11点,展会对VIP成员开放,人们对这场展会的期待更加高涨了。只不过在目前的经济
体育教学是最直接的形态教学,教师的教态如何对完成教学任务起着举足轻重的作用。然而,有许多体育教师并不注意自己的教态、仪表,例如:冬天穿棉衣、大衣、戴棉帽、手套上课,
【正】 一九四四年五月十一日至一九四五年一月二十七日,中国远征军为策应驻印远征军、盟军反攻缅甸,打通国际交通线,以获得盟国从陆路上的援助,发动了滇西反攻战役。 此次战
一、沙参百合粥:沙参30克,百合50克,粳米150克,冰糖适量。将沙参煎煮2次,取药汁;百合研粉。粳米洗净与沙参汁煮粥,起锅前将百合粉、冰糖入锅煮10分钟即成,分早晚食用。此粥具
对采用给水加氧处理方式的600 MW超临界直流机组的停（备）用保护方法进行了对比优化,通过实施＂氨水碱化烘干＋负压抽真空＂保护方法,利用现有设备,不需额外投资,操作简单、安全可靠,
挑选了6种婴童沐浴产品中常用的温和表面活性剂,研究比较泡沫性和温和性。实验结果表明:在去离子水中,泡沫性顺序为甲基椰油酰基牛磺酸钠>月桂酰两性基乙酸钠>椰油酰胺丙基甜
本文根据S.E.Wright的BLH理论,导出了不等节距风机的声辐射公式,而等节距叶片风机声辐射公式是该公式的特殊情况。同时,从公式中可以看到不等节距叶片对风机通过频率及其谐波