基于Hadoop的大数据平台数据挖掘云服务研究

来源 :长江大学 | 被引量 : 6次 | 上传用户:zhshp123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络、网络技术、传感器技术、移动互联网技术的快速发展,海量数据不断被产生,世界正从IT时代进入到DT时代。由于数据规模的快速增长,中小企业之前建设好的传统的基于单机数据分析系统在服务器利用率、存储、数据挖掘方面都显得不尽人意,无法再有效地解决中小企业信息价值化实施过程中所面临的众多问题。获得有价值的数据分析结果已逐渐成为中小企业增强自身竞争力的重要手段之一。本文研究了如何进行分工、协作,完成数据传输、存储、处理、采集等工作。如何搭建基于Hadoop的大数据平台,解决传统数据仓库在海量数据存储、处理等方面的不足。提供基于云计算3种服务模式之一Saas(软件即服务)的模式数据挖掘云服务。该数据挖掘服务突破传统数据仓库在数据挖掘上的单节点的瓶颈凭借Hadoop平台横向扩展的能力。它针对Hadoop的分布式文件存储系统HDFS中的海量数据进行挖掘,使用Hadoop平台的MapReduce进行并行计算。为进一步验证该平台的稳定性,在该平台上运行改进的K-Means算法和改进的Apriori算法。实验结果表明,在Hadoop平台上运用改进的K-Means算法和改进的Apriori算法分析海量的数据,可以明显提高数据挖掘的效率和结果的准确性。因此数据挖掘云服务可以有效解决中小企业在人才、资金、技术等方面的不足而导致的获取有价值的数据比较难的问题,通过多种算法模型满足其个性化、灵活性需求。目前帮助决策者更好地做出决策已成为数据挖掘云服务技术领域的新课题。本文通过对中小企业的需求以及数据挖掘云服务的应用价值进行分析,为中小企业提供有价值的信息。完成的主要工作及取得的成果是:1、对Hadoop、大数据平台、数据挖掘、云服务的发展现状进行了研究和分析,论述了大数据平台搭建和数据挖掘云服务,探讨了基于Hadoop的大数据平台提供数据挖掘云服务的意义,完成了这一课题的理论背景研究。2、结合理论研究,参考了国内外大量的研究成果,充分考虑到我国中小企业对数据要求价值化实际情况,明确数据挖掘云服务的研究目的,从用户的使用需求出发建立一套基于Hadoop的大数据平台。3、利用虚拟化技术和大数据相关技术建立基于Hadoop的大数据平台,提供给中小企业数据挖掘的云服务。4、在大数据平台上运行改进的Apriori并行算法和改进的k-Means算法的代码jar包,得到数据挖掘的准确结果。5、实现了快速、实时、准确、高效地进行数据挖掘分析,解决了传统数据挖掘无法处理海量数据的难点,节约中小企业享有高价值数据分析结果的成本,降低了中小企业对数据价值获取的技术要求,对各种行业海量数据进行数据挖掘,对于中小企业数据价值化和做出正确的决策有着重要的意义。
其他文献
目的比较益母草醇提和水提工艺样品对小鼠急性毒性影响和毒性靶器官损伤程度的差异。方法运用紫外分光光度法测定不同提取工艺中益母草总生物碱的含量,急性毒性实验法对其急
对益母草中黄酮类化合物的研究文献进行梳理总结,同时为更深入研究益母草中的黄酮类成分及其药理作用提供参考。对益母草的相关文献资料进行梳理,按照研究方向的不同归纳总结
<正>阅读课:《南京大屠杀》(第二教时)教学要求:引导学生通过了解日本侵略者在南京犯下的滔天罪行,树立强烈的爱国主义情感;分析第二部分对三个屠杀惨案的叙述;朗读第三部分,
<正>我们从教师和保育员出发开展研究,探索有效的"三位一体"班组建设的组织与管理新格局、新经验,聚焦一日活动保教现场,通过优化管理机制、加强课程领导、开展实践探索,进行
近年来随着药物制剂的发展,具有无毒、可生物降解,良好的组织相容性,缓释和控释的药物载体已成为热点。明胶作为载体材料,无不良反应,无免疫抗原性,具生物可降解性,被广泛应
<正>在EMPA-REG血压试验中,与安慰剂比较,恩格列净(empagliflozin)10或25mg/d可降低2型糖尿病合并高血压患者的糖化血红蛋白、血压及体质量水平。患者服用安慰剂(n=271)、恩
<正>1临床资料患者男性,28岁,飞行员,飞行时间700 h。2010年7月5日感头晕、鼻塞,自服藿香正气水20 ml,服药1 h后自觉皮肤瘙痒,无恶心、呕吐、胸闷等不适症状,遂来就诊。查体:
目的:比较无训练年轻女性骑车与跑步的脂肪氧化动力学、最大脂肪氧化强度(Fatmax)和最大脂肪氧化率(MFO)的差异。方法:12名无训练年轻女性采用递增负荷模式分别完成自行车测
目的:介绍益母草的药理学研究实验及其结论。方法:以近年来发表的文献为依据,对益母草的药理学研究进行综述。结果:益母草在子宫、肾脏、心脏、血液、肿瘤、前列腺以及镇痛抗
伴随着酒店业的发展规模和发展速度进一步提升,酒店也对员工管理理念的优化,酒店企业自身及员工的双赢管理协同合作效应越来越得到突出。从酒店及员工的双赢意义入手,多角度