基于云计算的数据挖掘关联算法研究与实现

被引量 : 16次 | 上传用户:woyaodefeixiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术是新技术革命的标志,进入新世纪信息技术更是蓬勃发展。与此同时在信息的交互之中大量的数据产生。随着人们不断的研究发现这些数据其实隐藏着很多有用的信息。但是如何发掘出这些信息就如同海底捞针一般的困难。自谷歌推出了“G101计划”,并正式提出“云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM相继提出自己的云计划。云的出现为资源的共享,降低成本提供了方便。它完全按照用户的需要分配相应资源包括计算能力,存储资源和应用技术服务。数据挖掘技术的出现使得发掘这些“价值”真正的成为可能,把大量的、随机的、模糊的数据进行相关处理,使得那些隐藏的相关的、紧密相联的、潜在的,有价值的信息得以展现。随着数据量的激增,如何才能快速有效并且廉价的找出“准价值”信息,于是本文提出云计算和数据挖掘的结合,一方面充分利用云分布式,并行化,虚拟技术,共享资源等特点,另一方面利用数据挖掘的成熟技术。这样就能提高计算效率,保证负载均衡同时还降低成本。这两者的结合对于科学研究以及企业高层运营发展起到很好的辅助作用,具有深远的学术价值和商业价值。本文主要以本人在某公司参加某通信运营商增值业务综合运营平台项目为依托,研究分析关联算法找出关联规则和价值信息,对企业的管理和高层决策起到帮助和数据支撑的作用。首先,介绍了云计算的相关背景和一些常见技术平台,云计算的几种服务:通信即服务(CaaS)、基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)。重点对云平台Hadoop平台的架构进行分析。提出数据挖掘相关技术,包括预估模型、聚类、关联分析分类等等方法,并提出数据挖掘的主要研究方向引出挖掘算法。其次,针对序列分析算法、分类分析算法、关联规则算法分类进行分析研究,重点分析关联规则,对算法进行初步描述时引入实习期间接触到的中国某通信运营商相关业务,使用具体的业务对算法进行描述分析。再次,根据传统的Apriori算法,分析算法性能和缺点。提出几种技术层面的改良方法包括基于HASH,基于抽样,基于划分和基于增量划分的方法。为提高算法效率提出了两种改良思路。最后,根据建立的模型搭建数据库,在Hadoop平台上与Apriori算法结合设计出MapReduceApriori算法,该算法能充分利用HDFS分布式文件系统存储数据,又能以MapReduce方式实现并行处理,在海量数据中发现频繁项集。利用号簿管家这个业务的数据进行挖掘分析得到相关结果。分析结果能够掌握该业务的发展状况,进而为业务推广以及集团运营管理和决策提供相应的数据支撑。总之,理论和实验表明,云计算下数据挖掘关联算法对数据价值的发掘有着相当重要的作用,对学术研究和商业运营产生了理论意义和经济意义。
其他文献
精益生产方式作为一种福特的大量生产方式后发展起来的更先进的生产管理方式,近年来在全世界范围内得到越来越广泛的应用。K公司2008年进入中国,主要为各汽车整车厂配套供应门
改革开放以来,随着我国城市化进程的加快,大量的进城务工人员涌入城市,并逐渐由个人迁移转变为家庭迁移。由于我国城乡二元结构及户籍制度的限制,跟随父母流动至城市或者在城
语义表征问题一直备受国内外语言学、心理学等领域学者的关注,随着语言学习重要性的提高,双语或多语的语义表征问题成为其重要的研究内容。本研究以初中英语学优生和学困生为被
明代,道教小说发展的又一个里程碑式的时代。正当通俗小说居于主导地位的时候,道教小说以其自身的宗教性与文学性的完美结合在通俗文学中占据着一席之地,《藏外道书》中收录
1958年中国政府炮击金门,导致台海局势再度紧张,最终引发了“第二次台湾海峡危机”。危机爆发后,引起了世界各国的高度关注,尤其是美国和苏联的介入,使紧张局势不断升级。同时这也
随着我国信息化的发展,基于信息技术的社会治安防范手段也随之迅猛发展起来。为充分发挥安全技术防范的重要作用,进一步提高打击、防范各种违法活动的效能,许多城市已经全面
对生物质能这一可再生能源的开发有助于全球能源短缺和温室气体排放等重大问题的解决。与传统的生物乙醇相比,生物丁醇具有更高的能量密度、更好的适用性、更低的挥发性以及
长期以来,受着传统史学观念的影响,我国历史教师对中国社会生活史重视不够,过去的历史教学集中在政治,经济,思想文化三大块,社会史的内容比较少,近年来越来越多的人认识到加
英语作为一门世界重要的交际用语以及高考重要内容之一,已经变得越来越重要。但是农村高中英语教师所需面对的现实是,虽然老师们千辛万苦地教学,但是却没有换来学生对英语的喜爱
腐败现象无处不在,已经成为当今国际社会高度关注的问题之一,执政党条件下,如何加强党自身的建设、巩固其领导地位,搞好廉政工作、取得反腐治腐斗争的胜利是中国共产党面临的