论文部分内容阅读
随着气象事业现代化水平的不断提高,气象业务、科研和管理活动中收集并积累了大量气象信息资料,包括台站资料,卫星遥感资料等,如中央台站每天收到的资料高达TB数量级,“9210工程系统”每天所下发的气象资料也有几百甚至上千百兆,如何充分利用这些海量数据,从中挖掘出价值含量高的信息是极其关键的,也是提高气象预报准确率和灾害天气预警能力的关键。从气象行业目前的发展现状和需求来看,气象资源极其丰富、数据量快速增长,需要大量的科学计算,在传统的计算机上进行大规模数据处理需要花费很长的时间,而使用并行算法可以有效的解决这一问题。因此,气象业务对云计算技术有很多的需求点,云计算强大的计算能力为海量气象数据挖掘提供新的生机,将海量数据挖掘算法迁移到云计算平台具有非常重要的现实意义。数据挖掘通常也称为数据库中的知识发现,顾名思义是从大量实际应用数据中提取出隐含的、人们事先不知道的,但又潜在有用的信息和知识的处理过程。它是一门新兴的交叉学科,汇集了来自人工智能、机器学习、模式识别、统计学、数据库、可视化技术等各领域的研究成果。聚类分析是数据挖掘中的一个重要研究领域,它将数据划分成若干个聚类,使得在同一聚类中的对象比较相似,而不同聚类中的对象差别很大。K-means算法被认为是最经典的基于划分的聚类方法,常采用误差平方和准则函数作为聚类准则,该算法在处理数据集上相对可伸缩且高效率。但面对大规模数据时,运算量也随之增加,运算所需的资源和时间耗费明显增大。为了突破这个瓶颈,通过分析和研究得知,与传统的并行计算模型相比,MapReduce分布式计算模型封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的编程接口,极大的简化了并行程序设计的难度,采用MapReduce进行并行程序开发时,用户只需关注于自身要解决的并行计算任务。因此,利用Hadoop平台处理海量数据的优势,提出了一种改进的算法,在Hadoop平台上实现K-means算法的MapReduce并行化。最后,通过聚类结果的有效性、加速比以及可扩展性对基于MapReduce的并行K-means算法进行评估。实验结果表明,并行K-means算法能够取得较好的聚类结果;面对海量数据,随着Hadoop节点数的增加,Hadoop集群的加速比和可扩展性也越好。在分析气象数据特征和处理过程的基础上,选取1971-2000年中国地面气候资料日值数据集作为研究对象,对30a地面气候资料进行全国温度带和干湿区划分。其中,温度带及干湿区划分分别以日平均温度≥10℃的积温日数和干湿指数作为指标。最后,利用GrADS软件画出全国温度带和干湿区分布图,结果显示与前人的区划分布图有很好的一致性,具有一定的研究和应用价值。