基于Hadoop技术的气象数据采集及数据挖掘平台的研究

被引量 : 3次 | 上传用户:the1295
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的信息化发展,我国气象事业已经进入高速发展阶段,每日产生的气象数据在不断增加,累积的历史数据可以用“海量”来形容。然而,面对如此庞大的气象数据,当前的数据处理方式已经不能跟上“大数据”时代的步伐。如何安全、高效的存储和计算这些海量的气象数据,并从中快速、准确的发现有意义的信息已经成为了气象数据挖掘领域中的热点。本课题来自于天津滨海气象局的相关科研项目,旨在建立一个集气象数据采集、数据存储及数据挖掘、气象数据应用为一体的平台。主要的研究内容分为以下几个部分:(1)设计气象监测系统硬件电路。在了解气象自动站对温度、相对湿度、风速、风向以及降雨量测量要求的基础上,对以上几种天气要素进行传感器的选型,使用PIC18F8722单片机作为主控芯片,使用GPRS模块进行通过数据的无线传输。(2)对气象数据的存储和气象数据分析的研究。首先介绍了数据挖掘中的几种常用的算法分类,将聚类算法作为重点研究对象,选取基样本选择的CLARA算法;其次介绍了分布式系统基础架构hadoop的基本内容,并对其核心部分及相关子项目做了重点研究,在此之上重新定义了气象数据仓库的组成框架,并对其内部组成及相互关系做了说明;最后,搭建实验环境,将CLARA算法进行并行化处理,使之能够应用到hadoop云计算平台之上,设计一系列实验来验证其优势。(3)对气象数据应用的研究。在深入研究了Delauday三角网和网格序列等值线生成算法的基础上,将两者结合起来,形成一个新的等值线生成算法,最后用实验验证新算法在等值线绘制效率上的优势。
其他文献
介绍了聚烯烃管材的特点、应用领域和发展趋势,分析了国内外聚烯烃管材专用料的开发状况和国内聚烯烃管材专用料的市场状况,提出了我国聚烯烃管材专用料开发领域存在的问题和
历史和传统是无法割裂的,传统注定要对现实产生影响,任何一个社会都不能完全摆脱与过去传统的联系。任何法治的构建都离不开自己的传统,中华民族本源的法律文化是构建现代法
DIV+CSS技术作为网页布局的新宠,有着其独特的优势,它把网页的表现形式和内容分离,能够解决很多表格布局时产生的问题。介绍了DIV+CSS布局技术的概念、特点及其优势;通过一个
文章系统介绍了印刷数字化工作流程和作业描述格式的形成背景和发展历程,详细论述了印刷作业描述格式JDF的概念、节点结构、作业描述模型及其在印刷数字化工作流程中的作用。
人工挖孔灌注桩是桥梁施工中常用的一种施工工艺,文章结合工程实例,对该工艺进行了较为详细的介绍。
<正>为什么会发生原油泄漏和爆炸?为什么没有及时疏散群众?有关山东省青岛市"11·22"中石化东黄输油管道泄漏爆炸特别重大事故的国务院调查报告1月11日在国家安全监管总局网
梳理了企业绩效评价的基础理论,分析了电网企业投资绩效后评估应注意的问题。在此基础上,结合电网企业投资的特点,构建了电网企业投资绩效评价指标体系。将层次分析与模糊综
画龙点睛一笔传神──浅谈语文课堂教学小结刘仁上课不象写文章,总要有个结尾。上语文课更是如此。一篇好的文章结尾,不仅能起到收束全篇的作用,而且能使读者对全文的精神主旨进
毛泽东高度重视西藏工作,亲自制定了西藏工作的战略决策和一系列政策。从中央人民政府与西藏地方政府谈判和平解放开始,到1959年3月西藏上层分裂分子发动全面武装叛乱期间,毛