云环境下的关联规则挖掘算法研究

被引量 : 0次 | 上传用户:sdfg444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的突飞猛进,特别是计算机硬件性能的不断提高,人们收集、存储、传输的数据量已经达到海量级。从海量数据中提炼出有用信息是一项富有挑战性的任务,也正是数据挖掘这门学科的主要目的。数据挖掘需要依赖高性能的挖掘算法和稳定的软件平台。传统的挖掘算法大部分采用串行设计,考虑的主要是节省内存开销,随着“大数据时代”来临,依赖于单机工作的传统挖掘技术已无法有效处理日渐频繁的挖掘请求和日益增长的数据量。云计算应运而生,作为一种新兴的基于互联网的计算手段,它使得用户可以像使用水电资源一样使用计算和存储资源。将云计算运用到数据挖掘,可以充分利用其分布式的优势处理“大数据”。Apache Hadoop是一款开源软件,实现了包括分布式文件系统HDFS和MapReduce框架在内的云计算软件平台和基础架构,是云计算技术中的重要组成部分,目前已成为工业界和学术界进行云计算应用和研究的标准平台。本文首先分析了Apriori、FP-growth、Eclat等传统关联规则挖掘算法的设计思想、优缺点,然后剖析了Hadoop平台的架构和MapReduce的运行机制。在此基础上,主要完成以下工作:1、分析了Apriori算法在MapReduce框架下的并行化版本,即SPC/DPC算法的设计和优缺点;分析了FP-growth算法在MapReduce框架下的并行化版本,即PFP算法的设计和优缺点。2、提出并实现了Eclat算法在MapReduce框架下的并行化版本,即Peclat,分别有宽度优先与深度优先两种版本。3、提出并实现了纵向表示法混用策略,克服了传统Eclat算法只能使用一种纵向格式的缺陷,并将此策略应用到Peclat算法中。4、提出并实现了剪枝和动态排序,进一步改进了Peclat的搜索效率。5、设计完整的实验证明Peclat算法的高效性和其采用的混用策略与搜索策略的有效性。
其他文献
<正>相对欧美,中韩两国的伦理价值观念更为相近。而综艺节目,说到底贩售的还是价值观。外国模式,中国制造——眼下,这样的电视综艺玩法,早已人尽皆知。来自英国的"达人秀",来
经济技术的发展,人们通过技术更好改变自身的周边环境,可以应用技术对我们房屋进行设计装饰。本文结合一般的建筑设计,分析房屋装饰玻璃幕墙施工技术,对其要点进行分析,详细
钛合金具有比强度高、热强性好、耐腐蚀等优点,已成为航空、航天、火箭、导弹、舰艇及能源化工等国防和民用工业部门的重要结构材料,发展前景十分广阔。其中TC4(Ti-6A1-4V)钛
目的:比较输尿管镜碎石术(ureteroscopy lithotripsy,URL)、经皮肾镜碎石术(percutaneous nephrolithotomy,PCNL)、后腹腔镜输尿管切开取石术(retroperitoneal laparoscopic u
"乡土文学"自20世纪20年代提出之日起,就缺乏概念的内涵意蕴和外延指向的科学限定。随着左翼文学与革命形势日炽,"乡土文学"逐渐为"农村文学"所取代,政治色彩加强,审美特质减
随着智能手机和移动接入设备的发展和普及,无线局域网的革新也受到了产业界的广泛关注。传统无线局域网,接入流程复杂、切换频繁和网络固化等方面存在严重不足;近年来新发展起
信息技术等现代教学手段的应用,从根本上改变了传统教学观念和教学手段,为课堂教学注入新的生机与活力,帮助教师更快更高效地完成教学任务,实现教学目标.从利用现代教学手段
建筑装饰是对建筑物的保护和美化,建筑装饰的效果直接反映出人们对建筑关学追求的品味。文章基于建筑装饰理念、对建筑装饰施工过程作了必要分析,提出了建筑施工过程中应当注
长期以来,台湾"国际空间"问题是两岸关系的焦点,处在统"独"较量的前沿。马英九主政时期,以"九二共识"为基础,作为两岸关系和平发展的重要结果,台湾"国际空间"亦有所拓展。蔡
磨矿过程是选矿过程中的关键工序,其主要任务是将矿石经过研磨和分级作用,来实现将矿物和脉石解离,使矿石颗粒由大变小,满足生产指标的要求,为后续的选别工序创造条件。该过