基于MapReduce构造多维数据及关联规则挖掘算法的研究与应用

被引量 : 13次 | 上传用户:wenhao_andy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网大数据时代的到来,海量数据的处理成为诸多领域亟待解决的技术瓶颈。而以MapReduce为代表的一系列云计算技术,为这类问题提供了优秀的解决方案。越来越多的互联网应用都选择与云计算技术结合,以提升自身服务的可扩展性和处理能力,来应对海量数据带来的压力和挑战。本文的主要研究内容是在详细分析多维数据特点的基础上,基于MapReduce分布式计算模型和Hadoop分布式架构,提出了并行构造多维数据的方法,同时针对多维数据的的典型应用,提出并实现了一种高效的并行多维关联规则挖掘算法。本文首先介绍了多维数据的基本概念、形式化描述和相关应用,以及关联规则的定义、分类和挖掘过程,并对多维关联规则挖掘进行了详细的阐述。然后,在分析MapReduce计算模型的原理和特点的基础上,提出了基于MapReduce并行构造多维数据的方法;通过分析各经典关联规则挖掘算法的特点和局限性,提出了基于Apriori的并行多维关联规则挖掘算法。之后,通过模拟实验对算法的性能进行评估,并对MapReduce模型的数据流进行调优。实验结果表明,与单机执行的方式相比,并行构造多维数据方法的效率更高,具有更好的稳定性;并行多维关联规则挖掘方法在提高效率的同时,还减少了对数据文件的扫描次数,大大降低了系统的I/O负荷。
其他文献
目的:根据前期的研究基础,对慢性阻塞性肺疾病(chronic obstructivepulmonary disease,COPD)及寒饮蕴肺证理论进行简要的梳理和论述,以肺组织中水通道蛋白AQP1及黏蛋白Muc5ac为
研究了炒制磷石膏、水泥和石灰配比对磷石膏制品抗压强度的影响,实验证明,当磷石膏为82%、水泥为12%、石灰为6%、水占配料的40%时,自然养护28d,其抗压强度可达15.18MPa。采用电解法可
针对可视化技术在驱油剂评价中适用范围不明确的问题,对比了可视化微观物理驱替模型、计算机X线断层扫描(CT)和核磁共振成像(MRI)三种可视化技术的原理与功能,分析了它们在驱油剂评
学校体育是我国实施素质教育的一个重要环节,体育课教学就是让学生在快乐中学习体育技能,在学习技能的同时得到健康强壮的身体,并获得一些健康的运动知识,养成良好的体育习惯,培养
软木塞被公认为是密封瓶装葡萄酒的最理想的材料,软木塞的质量也会直接影响葡萄酒的品质。天然软木塞是由栓皮树的整块树皮切割制成,具有特别好的密封性,而又不会使瓶中的葡
21世纪的企业竞争是人才的竞争。作为朝阳产业,旅游行业需要更多更合适的人才来更上一层。一个人职业的选择不仅仅是个人职业意向选择的体现,更是个人人格的反映与延伸。面对
目的:探讨陈旧性踝关节骨折愈合不良的手术方法及临床疗效。方法:回顾性分析2010年3月至2012年8月在新医大一附院行手术治疗陈旧性踝关节骨折愈合不良的患者的临床资料,共计13例
廉政思想的建设是党的建设重要组成部分,是党的工作重心之一。党的十六大以来,以胡锦涛同志为核心的党中央以中国特色社会主义理论为指导,深入开展了廉政建设,在这一实践中形
近年来,在中国与北非双方共同努力下,中国与北非经贸发展迅速。中国与北非贸易连年的高速增长证明,中国与北非贸易是对双方有利的,是双方都愿意积极推动的。新中国成立时北非国家
在现代社会迅速发展经济繁荣昌盛的今天,我们古老的传统民间艺术却面临着被忽视和消失的危机。徽州木雕作为中国木雕艺术中极具影响力的代表之一,同样遭遇着种种考验,许多优