基于Hadoop的海量数据分析系统的设计与实现

被引量 : 0次 | 上传用户:happyfen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的不断发展,国内大型互联网公司业务的不断复杂化,分析核心数据成为了公司发展的关键点,但是公司内部的核心数据原始文件庞大,目前大部分是通过人工分析得出结论,因此分析处理海量数据成为亟待解决的问题。本文研究了海量数据处理的国内外现状,阐述了分布式MapReduce的编程思想,介绍了Hadoop的相关技术和HDFS文件系统,分析了企业的需求,使用了spring-mvc和hibernate等Web开发框架对系统进行了分层设计,将系统分成了展现层、业务逻辑层、数据对象实体层、底层数据层和原始资源层。然后对系统结构展开设计和实现,结合实际业务设计了分布式Hadoop计算模块、数据结果存储模块和业务系统逻辑模块三个模块,最后对各个模块进行了测试,实现海量数据分析系统。本文所做工作被用于大型互联网公司系统的开发。实践表明,采用本文所设计的系统后,提高了数据分析的效率,改变了人工计算海量数据的情况,实现了数据分析统计的高效性和集中性。
其他文献
在工业生产氯碱的过程中,需要非常大量的氯化钾盐水,而在氯化钾的盐水中往往含有一定量的杂质,比如说氨、有机胺等,这些杂质被送到电解过程中发生变化会生成性质很活泼的三氯
随着移动互联网在全球高速发展,移动智能终端也开始爆发式增长,而3G无线网络通信业务在全球的普及,使智能手机成为移动智能终端的主流,全球智能手机的销售量突飞猛涨,2010年,
国际区域经济合作成为当今世界经济发展的趋势之一,东盟在东亚区域经济合作过程中一直处于主导者的位置。目前,美国主导的TPP给东盟在东亚的主导地位带来很大冲击,因此,2012
目的:探讨肺癌伴抗利尿激素分泌异常综合征(SIADH)临床特征及治疗分析,以期为肺癌伴SIADH患者临床诊疗提供参考。方法:回顾性分析大连医科大学附属第一医院2009年1月至2012年12
出口退税是WTO成员国为了保护本国企业参与国际竞争而普遍使用的政策工具。它可以使得出口商品以不含税的价格参与国际竞争,极大地鼓励出口、拉动本国经济增长和提高就业率,进
<正>有一个非常奇怪的现象,总是有专家呼吁,语文课要上出语文味,并由此派生出一个所谓的"语文味"教学流派。我们似乎还从来没听说有谁呼吁过数学课要上出数学味,外语课要上出
铸铁件在拖拉机中占有很大比重,而且是加工精度高、价格昂贵的基础零件,如气缸体、气缸盖、变速箱等.据统计,拖拉机在正常使用情况下,这类零件达到磨损极限时,尺寸变化只有0.
在机械制图课程教学中,组合体读图重点在于培养学生的空间想象力和画法几何知识应用的综合能力,其方法主要是形体分析法和线面分析法.主要叙述了组合体的基本概念,并针对线面
蔡和森并非出身于书香门第,也不是官宦之后,在当时艰苦的条件下能够得到求学的机会委实来之不易。虽然其祖父在世时家中还有薄田六十余亩,并且在镇上还开有一家南杂店,算是小
<正>读《中学语文教学》2013年第10期刊载的《"比喻"与"比喻论证"辨析》一文,我觉得作者没能抓住要害。要害是什么?比喻是修辞,"比喻论证"是论证。朝底处说,"比喻论证"就是推
期刊