云计算环境下海量数据分析系统的设计

来源 :新技术新工艺 | 被引量 : 0次 | 上传用户:lizhiguo518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统计算环境中海量数据存储、分析处理效率、实时性、完整性和数据维护费用等难题,利用云计算环境的超大规模、虚拟化、经济和安全可靠等特点,进行海量数据分析。基于分布式计算架构Hadoop,利用并行计算框架Map/Reduce,构建了典型的云计算环境,并采用数据仓库分析平台Hive,实现了高效、实用的海量数据分析系统的设计。以系统总体框架设计为基础,从客户端分析、接收服务器、后端数据分析和数据可视化等模块完成了系统设计,对海量数据分析处理系统设计具有一定参考价值。
其他文献
为了适用发动机试车高速采集数据的需要,迫切需要对高速数据采集系统进行研究,提高高速数据采集系统的性能。选择了IEEE1394作为数据传输模式,建立了一个基于FPGA、DSP和IEEE
非圆截面加工多采用数控铣削、仿形铣削及线切割等工艺方法完成。以阿基米德螺旋线凸轮的加工为例,提出了一种普通数控车床加工任意非圆截面的方法。基于普通车床连续螺纹插补
【正】天津市从2001年11月实施城镇职工医疗保险制度。从那时起,人民医院作为医疗保险定点医疗机构,就开始探索如何做好医疗保险管理这项新的医院管理服务工作。经过8年的探
南京,六朝故部。中山门外东行,梧桐夹道,松柏遍野。约数里北折见一丘,北依紫金山,南临琵琶湖。其形不伟而赫赫,其势不雄而森森,王者之气也。丘上遍植梅花,少有杂树,故名“梅花山”,乃吴
水下跨接管作为构建完整水下生产系统必不可缺的重要部分,通常可用于水下采油树、水下管汇类(CM/PLEM/ILM)、管线终端(PLET)、立管基座和输油管线等之间的连接,在水下生产系统中有着
应用于城市郊区和农村道路上的太阳能路灯经常会发生蓄电池被盗的现象,通过5why、鱼骨图、AFD失效、九窗口、功能和资源等分析方法进行分析,确定了问题的根原因和理想解,然后
【正】按照天津市医疗费联网结算的要求,下列62家定点零售药店的医疗保险药品费联网结算系统验收合格。已正式启动联网结算。
传统的《EDA技术》课程教学只是针对软件的操作方法进行讲授,先是老师讲解理论知识点,然后学生练习所讲授的内容,知识点多而散,而且不能兼顾相关专业课程的学习,学生学习目的性不
【正】有位朋友聊天时问我:办理退休手续时职工最怕什么?还没等我回答,他说最怕社会保障部门把缴费情况搞错,把退休金算错了。我问,此话怎讲?他说,有关退休待遇的政策比较复
【正】社会保险作为社会安全网的重要组成部分,在现代社会中发挥着日益重要的作用。无论设计上多么完善的社会保险制度,在其运行过程中也不可能避免发生争议。如果这些争议不