基于MapReduce的气候数据的分析的设计与实现

来源 :数码设计 | 被引量 : 0次 | 上传用户:lhawk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在社会的发展过程中,天气对社会中的很多行业都有一定的影响。在当前阶段,天气预报作为全球主要对天气进行预测的手段,在这种情况下,全球的气候行业也产生了大量的数据(PB级别),并且数据每年还在持续的增长。为了解决使用传统的关系型数据库很难存储与分析的问题,需要采用大数据的相关技术对气候数据进行分析。本设计采用MapReduce生态圈的一系列的工具,通过使用虚拟机的平台,采用爬虫软件进行数据爬取的方式,用Map阶段和Reduce阶段的数据分析,分布式系统的数据存储的方法,实现气象数据的采集分析,并且将其展现出来
其他文献
通过分析现行电路教学中存在的几个问题,把工业工程思想应用到电路教学中,并在实际工作中采取一系列行之有效的措施,取得了较好的教学效果。
近年来,随着医药行业的发展,为培养高素质的药物制剂专业人才,须改革传统实验教学模式,让学生变被动为主动,教师起主导作用;有意识开展对比性实验;增加设计思考型,综合应用型实验;并采
在科技发展不断加快的背景下,信息技术已经充分渗透到社会中的各行业及各领域内,而随着各行各业对信息技术的广泛应用,使得教育教学中也开始积极探索信息技术应用。微课就是
在诸多外墙保温体系中,聚苯板薄抹灰外保温技术是使用得最广泛,也是最重要的一种工艺,本文通过工程实例阐述聚苯板薄抹灰外保温施工中易发生的质量问题及措施。
本文基于时间序列的理论知识,就我国民用航空客运的运行状况进行深入研究,运用传统方法和改进的数学模型对收集到的数据进行拟合与优化,分析民航客运市场的内部规律和未来的
随着信息全球化的快速发展,人们的生活和工作越来越智能化。其中,计算机科学与技术时计算机网络技术不断发展的产物,科学技术高速发展的背景下,人们的生产和生活的各个方面都
本文针对高等院校学生的创新能力与创新精神的教育问题,论述了实验教学中的信息能力培养内容、意义与基本目标.
自进入21世纪以来,信息技术和网络技术获得飞速发展,社会对网络型人才需求量逐年增加,越来越多的中职学校加强了计算机课程的教学力度,积极探究新型教学模式,以满足职业化需
图像传感器是在光电技术基础上发展起来的、将光学图像转换成一维时序信号的器件。其中以CCD(Charge Coupled Devices)为典型代表,其体积小、造价低,广泛应用于扫描仪、数码相机及数码摄像机中,并在工业非接触尺寸检测、图像传感、图像分析、光谱分析、天文观测和安全监控等方面发挥重要作用。人们通过对实时采集的数字图像进行几种简单的处理所获得的实际效果,引起对应用广泛的数字图像处理技术的兴
力学实验是学习力学的重要途径,而网络实验室是近几年发展起来的一种先进的教学设施,随着校园网络化的普及和教学手段多样化的需要,两者的结合是实验室现代化建设的必然趋势。本