基于云计算的数据挖掘平台研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:wangheng1991
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今,由于信息技术和互联网的快速发展,每天有数十亿的用户在使用互联网,用户的各种操作和行为,同时会产生大量的信息数据。据统计,每年全球数据总量的增长是以ZB(1ZB=10^21byte)为单位的,而近90%的数据是这几年才产生的。预计到2020年,全球的数据总量将达到40ZB。数据量的激增使人们从“信息匮乏”的时代,进入到了“信息过载”的时代。人们希望能够将这些数据保存起来,并通过分析这些数据,提取它背后隐藏的模式和价值。这就带来了新的挑战与问题:1)大数据的存储问题;2)大数据的处理问题;3)数据挖掘方法的问题。Google、百度、阿里巴巴等这样的需要每天面对大量数据的互联网公司,都构建了云平台,在后台搭建分布式计算系统来保存和处理海量数据,利用数据挖掘技术来分析数据,优化自己的业务系统。不仅限于互联网行业,其他很多行业也都对大数据处理和数据挖掘方面有很大的需求。如医院可以通过对病人的病例进行数据挖掘,得到更精准的诊断治疗;气象预测单位可以通过大数据处理,使天气预报更加准确;零售业可以通过对交易记录进行数据挖掘,优化自己的产品,吸引更多的顾客,从而提高自己的利润收益。基于上述背景,本论文将云计算与数据挖掘技术结合起来,设计构建了基于云计算的数据挖掘平台。该平台的意义在于,基于云计算的模式下,由云平台提供海量数据挖掘和海量数据存储的能力,用户应用只需要通过访问云计算平台的接口来获取服务,这也使用户应用关注的重点放到自己的业务逻辑上面,减少了其他行业系统在数据挖掘方面的投入成本。平台系统的构成主要包括三层:1)基础能力支持层,本论文由于考虑到分布式系统对海量数据存储与处理的能力,使用了Hadoop分布式计算框架中的HDFS与MapReduce,构建基础支持层,提供数据存储和计算的能力支持。2)服务中间层,将数据挖掘算法和对数据的操作进行封装,由于对接口要求的简单、高效、一致的特性,本论文使用了REST设计规范来设计接口,上层应用提供服务。3)用户应用层,数据挖掘平台以服务的形式,对外提供数据挖掘和大数据存储的能力,用户应用通过调用服务层的接口,就可以获得这种服务。由于基于数据挖掘的推荐系统在工业界应用广泛,所以本文以协同过滤推荐算法作为数据挖掘平台的算法实例,进行了研究。并提出了引入基于项目流行度的权重因子的思想,削弱流行项目对计算相似度的影响,从而提高推荐系统的个性化程度,对协同过滤算法进行改良,本论文使用PHP实现了一个用户应用层的原型系统,并以MovieLens提供的数据集作为实验数据集,在云计算数据挖掘平台上,对协同过滤算法进行了实验,使用查准率、查全率、覆盖率、流行性分别对传统算法与引入项目流行度降权的改良算法进行了测评,根据实验数据得出改良算法在提升推荐系统个性化程度和发掘物品长尾能力上优于传统协同过滤算法的结论。
其他文献
对于道德与幸福的关系,亚里士多德将德福完全统一起来,认为幸福至善,是合乎德性的实现活动;康德认为德性的目的在于配享幸福,至善在于德福统一。两种德福统一存有较大区别,在
以黑龙江省资源型城市为研究对象,利用2010-2016年经济与环境数据指标构建经济转型评价体系,采用重心迁移、空间地理加权回归等方法对资源型城市经济转型能力展开研究,结果表
我国综采工作面自动化的研究己经有十多年的历史,但总的来说,综采工作面自动化的设备零散组合多,整体成套系统少,因此系统可靠性有待提高。本文介绍工作面综采自动化控制系统
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
目的:探讨子宫下段厚度对瘢痕妊娠产妇再次妊娠分娩方式选择的影响。方法:选取2016年5月至2018年6月在我院就诊的瘢痕子宫患者100例,参照分娩前最后一次超声检查结果分为A组(
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
随着国际贸易的快速发展与“地球村”的加速融合,国际航空运输以其快速便捷,安全可靠的特点,对世界贸易的发展产生了巨大而深远的影响,不仅促进了经济的发展,也使得人类的交
目的探讨γ-干扰素释放试验(IGRA)中抗凝管类型、保存温度对结果的影响。方法用γ-干扰素释放试验对106例疑似肺结核患者进行γ-干扰素水平检测,其中一批48例,分常温保存4 h
网络作为青年学生学习生活的重要空间,既是思维活跃的创新之所,也是思想教育和舆论引导的必争之地,能否掌握网络阵地的主导权和管理权,直接关系到社会主义建设者和接班人的培
慢性肾衰竭(chronic renal disease,CRF)是指慢性肾脏疾病引起的肾小球滤过率(glomerular filtrate rate,GFR)下降及与此相关的代谢紊乱和临床症状组成的综合征,发展至末期,