基于Hadoop平台的改进关联规则挖掘算法

来源 :计算机工程 | 被引量 : 0次 | 上传用户:talenthers312
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制。针对该问题,对传统挖掘算法进行改进。借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调度完成频繁项集挖掘,在强关联挖掘中通过Sqoop组件将外部表Hive中的数据迁移到Redis,实现数据的高速读取。实验结果表明,该方法可有效提高挖掘效率,提高幅度随数据集规模同步增大,并且具有较好的加速比和扩展性。
其他文献
中学生能否健康成长不仅关系到家庭的希望,也关系到民族的素质和未来。初中阶段是青少年发展的关键时期,他们在这三年期间的品德形成、个性特征、学习基础、生活习惯等直接影
韩国国民最低生活保障制度自2000年10月起实施,其受助人选定体系由收入认定额和抚养赡养义务人情况两个操作性指标构成。2003年起,国民最低生活保障制度中将收入和财产统合为
本文首先讨论了有向图中的最长回路,得到关于点次的一个充分条件。其次,讨论了有向图的2-回路性质,得到关于点次和弧数的几个充分条件,在某些意义下,这些条件是最好的可能。
在高校的教育当中,女大学生是属于一群特殊的群体,她们当中基本上大部分的人都比较年轻,人生经验比较少,当遇到一些事情的时候心理承受能力比较差,现在女大学生心理亚健康的
当前,我国基础教育领域进行的第八次课程改革,是基础教育适应时代发展和社会需求的一次深刻变革。基础教育课程在新的课程理念的指导下,其课程内容和课程结构都有了全新的变
<正> 清代,由于地区间物资交流的广泛发展,商业交通异常活跃。在近代铁路、公路、轮船等运输手段运用之前,木船运输成本较其他运输成本低,因此,商人在开辟商业交通时首重水路
集约型三维立体化城市模式是化解城市生存空间短缺、城市要素立体化与城市基面平面化矛盾等问题的有效途径之一.城市立体化主要是指城市基面的立体化.城市综合效益优先的原则
根据中科院发布的《2009年中国可持续发展战略报告》提出的我国发展低碳经济的战略目标,即到2020年,单位GDP的二氧化碳排放降低50%。为了实现这一目标,我国今后在使高碳产业
随着我国经济的不断发展和城镇化的不断推进,能源紧缺的问题越来越凸显,利用可再生能源势必成为解决能耗问题的根本途径。我国建筑能源消耗约占国家能源消耗的20%~30%,而建筑
〔目的〕通过自配复合微生态菌剂,用于奶公犊牛的育肥,以提高奶公犊牛育肥效益。〔方法〕验采用单因素随机分组,将18头奶公牛随机分为三组,每组6头,分别为试验1组(对照组)、试