基于云计算的并行K-means气象数据挖掘研究与应用

被引量 : 31次 | 上传用户:leonoox
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着气象事业现代化水平的不断提高,气象业务、科研和管理活动中收集并积累了大量气象信息资料,包括台站资料,卫星遥感资料等,如中央台站每天收到的资料高达TB数量级,“9210工程系统”每天所下发的气象资料也有几百甚至上千百兆,如何充分利用这些海量数据,从中挖掘出价值含量高的信息是极其关键的,也是提高气象预报准确率和灾害天气预警能力的关键。从气象行业目前的发展现状和需求来看,气象资源极其丰富、数据量快速增长,需要大量的科学计算,在传统的计算机上进行大规模数据处理需要花费很长的时间,而使用并行算法可以有效的解决这一问题。因此,气象业务对云计算技术有很多的需求点,云计算强大的计算能力为海量气象数据挖掘提供新的生机,将海量数据挖掘算法迁移到云计算平台具有非常重要的现实意义。数据挖掘通常也称为数据库中的知识发现,顾名思义是从大量实际应用数据中提取出隐含的、人们事先不知道的,但又潜在有用的信息和知识的处理过程。它是一门新兴的交叉学科,汇集了来自人工智能、机器学习、模式识别、统计学、数据库、可视化技术等各领域的研究成果。聚类分析是数据挖掘中的一个重要研究领域,它将数据划分成若干个聚类,使得在同一聚类中的对象比较相似,而不同聚类中的对象差别很大。K-means算法被认为是最经典的基于划分的聚类方法,常采用误差平方和准则函数作为聚类准则,该算法在处理数据集上相对可伸缩且高效率。但面对大规模数据时,运算量也随之增加,运算所需的资源和时间耗费明显增大。为了突破这个瓶颈,通过分析和研究得知,与传统的并行计算模型相比,MapReduce分布式计算模型封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的编程接口,极大的简化了并行程序设计的难度,采用MapReduce进行并行程序开发时,用户只需关注于自身要解决的并行计算任务。因此,利用Hadoop平台处理海量数据的优势,提出了一种改进的算法,在Hadoop平台上实现K-means算法的MapReduce并行化。最后,通过聚类结果的有效性、加速比以及可扩展性对基于MapReduce的并行K-means算法进行评估。实验结果表明,并行K-means算法能够取得较好的聚类结果;面对海量数据,随着Hadoop节点数的增加,Hadoop集群的加速比和可扩展性也越好。在分析气象数据特征和处理过程的基础上,选取1971-2000年中国地面气候资料日值数据集作为研究对象,对30a地面气候资料进行全国温度带和干湿区划分。其中,温度带及干湿区划分分别以日平均温度≥10℃的积温日数和干湿指数作为指标。最后,利用GrADS软件画出全国温度带和干湿区分布图,结果显示与前人的区划分布图有很好的一致性,具有一定的研究和应用价值。
其他文献
火灾烟雾出现早于明火,进行烟雾探测可实现火灾超早期预警。视频式烟雾探测系统基于数字图像处理技术,相比传统传感器探测方法,具有更好的准确性和实时性。目前多数视频式烟雾探
随着人们的生活水平的提高,外出旅游已经成为人们放松休闲的主要活动之一。传统的旅游方式都是团队组织,这在很大程度上制约了游客游玩的自主性。本文充分利用无线互联网技术的
在模糊决策树归纳过程中,数据的模糊化预处理通常使用三角形隶属函数,该隶属函数的中心点参数将决定数据模糊化的效果,进而影响模糊决策树的执行效率、精度和规模。Kohonen's fea
当前中国正处在社会转型的新时期,工业化和城镇化的快速推进对于土地的需求量急剧增长,越来越旺盛的土地需求导致越来越多的农村土地被征,而在征地的过程中出现的程序不完善,
近年来全球地震活动进入新一轮活跃期,多个地区发生了高震级地震,已造成了重大人员和财产损失。我国南方山区是地震高发区,这些地区建设有众多公路隧道,由于隧道结构具有良好
对生活垃圾填埋场防渗系统现行标准及规范进行比较,提出了设计填埋场防渗系统时应遵循的原则。通过计算防渗系统3种常用做法的造价可知,采用双层防渗结构将大幅度增加工程造
防渗系统是现代卫生填埋场设计的一个重要组成部分,防渗技术是填埋场重要的工程技术之一。本文主要介绍了人工防渗系统的设计,并对目前常用防渗材料做了简要的分析和介绍。
诗性审美从曾经的带有原始色彩的思维方式,到后来的文学化的诗性审美因素,诗性的概念逐渐被具体化,这一过程被引入了美的概念,美成为了艺术的附属物,诗性被具体为诗意。到了现代艺
伴随着中国城市化进程和社会工业化的加快,越来越多的农村剩余劳动力流入城市,时至今日,“举家外出”已经成为农民进城务工的一种重要方式。这种外出方式使得越开越多的学龄儿童
姐妹情谊作为妇女解放运动必不可少的力量源泉和黑人女性主义批评的重要组成部分,它把分散的个人力量汇聚成群体的力量对美国黑人妇女地位的争取和话语的言说都具有重要意义,