基于Hadoop和Storm的大数据分析平台的设计与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:sdwtb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,大数据成为了产业界和学术界最热门的话题,大数据开始表现出体量大、处理速度快、类型繁多、价值高和真实可靠的特性。为了应对大数据的飞速变化与发展,人们使用了多种处理方案。通过批处理来进行离线大数据分析,实时处理来实时产生的数据立即做出反应,SQL查询来应对交互式查询需求,各种NoSQL数据库来应对不同的数据存储需求。这些处理方法已经被广泛应用于个性推荐、金融保险、情报分析等多个领域,如何应对多种多样、不断变化的需求是大数据分析的重要挑战。此外,各种计算框架层出不穷,如何有效利用这些计算框架也是大数据分析的另一挑战。在这样的背景下,本文设计并实现了基于Hadoop和Storm的大数据分析平台。首先,本文研究了大数据分析平台的基础架构,将大数据分析平台分为数据源、数据吸收层、数据存储层、大数据平台层、安全与监控层、设备层和应用层,平台基础架构为大数据分析平台的实现奠定了基础。接着,本文围绕大数据应用的构建展开。设计并实现了耦合度低、拓展性好的应用架构,将大数据应用分为UI层、Web服务层、基础平台层和应用存储层,实现了前后端分离,规范了应用构建流程。同时基于该架构设计并实现了大数据分析平台,平台包含了用户管理、数据管理、工作流引擎、数据交换和Storm实时监控等模块,并运用Redis和MongoDB来存储数据,并且工作流引擎具备同时处理MapReduce和Spark算法的能力,整个平台具备了批处理和实时处理能力。最后,通过对平台的功能测试,证明了平台设计和实现方案的正确性和有效性,能够应对大数据分析的多种需求。
其他文献
甲醛是无色、具有强烈刺激性气味的气体,易溶于水,是室内环境的主要污染物之一,对人体的健康有很大危害。各国对室内甲醛污染有严格的卫生标准,因而甲醛的测定很受关注。随着国家
1选择肥料类型根据蔬菜类型施肥。大白菜、青菜等叶菜类蔬菜,需氮较多,应选用速效性高氮复合肥;萝卜、马铃薯等根茎类蔬菜,要重施含钾量较高的肥料;黄瓜、辣椒、番茄等瓜果类
近红外发光材料(波长700-2500 nm)在不可见光区域的优良抗干扰特性,使其在传感和信息检测方面具有独特优势。近几年,随着信息安全、化学传感和夜视装备的快速发展,将有机电致
<正>森林火灾是一种时间和空间上随机的严重自然灾害和突发公共安全事件,对社会生态环境、森林资源和人民的生命财产造成了严重的破坏。全世界平均每年发生森林火灾22万次,受
本文就收入效用存在的差异,分析其形成的心理动因,并建立相应的数学模型给予解释.
目的 分析舌癌放射治疗的疗效及影响预后的相关因素。方法 1976年5月至1992年2月治疗舌癌患者56例,放疗采用60CO—γ线或4MV—X线照射,部分病例采用体腔筒治疗。结果 总的3、
通过DOE进行实验设计和分析,找出影响车身漆膜桔皮的主要因素,并对主要因素进行测量及控制,以达到提高漆膜外观的目的。
“营改增”是“十二五”期间一项重要的税制改革。有利于企业减轻税负、优化税制结构,促进现代服务业的发展。融资租赁是现代服务业的重要组成部分.为第一批“营改增”试点行业
目的应用关联规则、聚类方法等数据挖掘技术分析治疗抑郁症的中药专利复方组方配伍规律。方法检索治疗抑郁症中药专利复方,排除外用中药及中西药物合用的复方。对入选的中药
老龄化对任何国家的医疗体系都是巨大的挑战,进入老龄化的发达国家无不把"控制医疗费用"作为卫生改革的核心。从国际经验,尤其是日本的经验看,影响健康服务体系和整个社会的