面向大数据的数据库划分FP-Growth改进算法

来源 :南昌大学学报(理科版 | 被引量 : 0次 | 上传用户:harryxu200x
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。
其他文献
针对近距离大容量数据转存的需求,设计了一种近场无线激光通信系统,采用全景凝视成像捕获方式代替传统的扫描捕获方式,使用亚像素定位算法提高系统的跟踪精度,并在10~100 m的通信距离内进行了试验。试验结果表明:该系统的对准时间在5 s以内,捕获概率达到100%,跟踪精度达到0.025 mrad,通信速率达到9 Gb/s以上,能保证系统快速建立通信链路并实现数据的稳定传输。
屏蔽门作为地铁系统的安全防护和隔离措施,在保护乘客安全和列车正常运行方面起到了重要作用。红外光幕系统是用来判断屏蔽门是否能够关闭的关键设备,其能否正常工作将影响乘客的安全和列车的正常运行。传统的红外光幕系统安装时发射端和接收端需要2个工作人员凭着经验手动进行对准,由于红外光不可见,安装或维护时费时费力且接收信号弱。因此,文章提出一种快速对准的地铁屏蔽门红外光幕系统,其原理为增加并联平行可见的激光发
<正> 近几年,人们围绕着微量元素的适宜添加量相继开展了试验。考虑到我省地处北方高寒地区,在土壤、环境条件及气候变化等方面与内地均有很大不同,我国饲养标准能否反映我
期刊
本文首先对新媒体和动漫衍生产品进行了定义。其次,从新媒体的角度,详细地分析了新媒体与动漫衍生产品之间的制约关系。最后,在分析中国动漫产业发展现状的基础上,针对新媒体环境下动画衍生品行业面临的问题,提出进行机理分析并给出突出新媒体的宣传战略;提高新媒体动漫衍生产业的人文精神;拓展动漫衍生品产业的销售渠道促进市场多元化发展;提高动画衍生品品质及多元化发展战略四条相应的建议。希望通过对动漫衍生品产业发展
期刊
为进一步加强建设用地土壤环境管理,确保建设用地得到安全利用,贵州省下发了多个文件指导企业和主管单位规范土壤污染状况调查。本文分析报告编制及评审过程中的常见问题并提出对策,以提高建设用地土壤污染状况调查报告编制质量,同时为后续的风险评估、风险管控及修复效果评估工作奠定基础。
针对目前糖尿病血糖监测通常需要采集指血,耐受性差且监测数据不连续的问题,迫切需要开发一种无疼痛持续监测血糖水平的装置,提出了一种基于微针(MN)的电流酶基葡萄糖连续监测传感器,主要是在MN表面修饰银(Ag)层与包覆葡萄糖氧化酶(GOx)的导电高分子聚3,4—乙烯二氧噻吩(PEDOT)层来实现葡萄糖信号检测。聚乳酸MN阵列由7×7的圆锥形MN组成,MN高度和底径分别为550μm和250μm,同时,探
<正>优秀文化的熏陶感染可以大大提高学生的语文素养。流传至今的经典文学名著所传承的绝不仅仅是优美有趣的文字,还有其所蕴含的精神意义,以及时代赋予它的内涵,这些都激励着人们探索世界和追求真理。学生阅读名著,可以切实提升其语文素养,提升其思想道德修养和审美情趣,树立正确的世界观和价值观。教师应纵观全局,制订切实可行的阅读计划,做恰当的阅读指导,激发学生的阅读兴趣。现以《水浒传》阅读指导为例,探讨如何促
期刊
B医院作为B市唯一一家三级甲等综合医院,是B市及辐射区域内患者就医的首要选择。按照医联体建设的要求,B医院将不再是一些轻症患者就医的首要选择。其次,因受交通方式少等因素的制约,B医院同样也是一些疑难杂症患者就医的首要选择。但随着交通网络和交通设施的进一步完善,患者的就医选择将随着火车的通车而增加。加之,B市两家较大的综合性民营医院发展势头迅猛,且某些专科的就诊人次不断攀升。面对外部的严峻形式,B医
在中国国家图书馆的"特藏古籍"中,藏有一块"戊戌六君子"之一杨深秀撰文的墓志铭的拓片。墓志铭的主人叫何遵先,是清末山西祁县的一位金石学家和藏书家。杨深秀在铭文中高度肯定了何遵先在山西金石文献考订方面的贡献,并追忆了其与何遵先之间的友情。杨深秀撰写的这篇墓志铭在《戊戌六君子遗集》《清代碑传全集》和《广清碑传集》等著作中均未见收录。这篇铭文对于研究清末山西金石学的发展情况、杨深秀在山西志局的活动及杨深
初高中地理教学衔接问题长期困扰着许多初高中地理教师,高中学生也因教学衔接水平不高影响了学习效果。高中地理新课标的颁布对学生提出了更高要求,使初高中地理教学衔接问题更加突出。本文对教学衔接的相关问题进行了分析,课程标准的差异成为初高中地理教学衔接亟待解决的首要问题,初高中地理教学目标、教学方式方法等方面的差异加大了教学衔接的难度。基于上述问题提出,要将三维目标与核心素养目标相结合、转变教学的评价方式