基于Hadoop的雷灾文本聚类与雷暴预测模型的研究

来源 :南京信息工程大学 | 被引量 : 3次 | 上传用户:llqyf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
气象行业拥有着海量的气象数据,当需要进行气象预报或气候预测这类业务时,就需要对这些海量气象数据进行大量繁复的运算,同时伴随着各种新型雷达的投入使用以及各种观测站的建立,使气象资料的收集方式变得更加多元化,气象资料的种类和形式也越来越多样化。气象行业内,气象资料的管理和共享也存在着诸多弊端,传统的数据挖据技术与方法已经越来越难以满足气象资料的存储与处理。云计算的出现,为气象资料的处理提供了一个新的思路。雷暴是一种灾害性天气现象,给人们的日常生活带来严重的威胁。因此,提高雷暴预测的精度以及采取必要的防雷措施就具有重要的现实意义。本文在分析云平台相关理论模型的基础上,选取了NCEP历史再分析资料,江苏省闪电定位资料以及雷灾文本信息作为研究对象,主要进行了如下工作:(1)在基于Hadoop集群的ThunderCloud平台上,提出了MRKM(MapReduce K-means)算法对雷灾文本进行聚类。MRKM将传统的K-means算法转化成两个map函数,一个combiner函数以及一个reduce函数来实现。通过该算法对雷灾文件进行聚类操作,并对聚类后的文档中的高权值词汇进行分析,得到雷灾分布状况,并根据不同的雷灾情形提出了相应的防雷减灾措施。(2)对NCEP历史再分析资料进行预处理,提出了基于Hadoop的朴素贝叶斯分类算法MRNB(MapReduce Naive Bayes),该算法的实现依赖于三个MapReduce Job共同协作完成,并将其与常用的气象预测方法Fisher判别分析法进行实验对比,实验结果显示本文所提出的算法具有较高的CSI评分,同时也具有较高的预报准确率和较低的空报率,存在一定的理论和实用价值。
其他文献
利用旋涂法在玻璃基底上制备ZnO种子层,之后用水热反应在不同条件下生长ZnO纳米棒阵列。通过SEM、XRD等表征测试手段,研究在水热反应时不同条件对ZnO纳米棒阵列的微观形貌的
目的:探讨胃癌患者外周血循环肿瘤细胞(CTCs)与原发肿瘤病理特征的关系。方法:随机选取未经手术治疗的胃癌患者41例,并选取良性胃病患者10例和12例健康志愿者共22例作为对照,
磷酸二酯酶(phosphodiesterases PDEs)是降解环腺苷一磷酸(cyclic adenosine monophosphate cAMP)和环鸟苷一磷酸(cyclic guanosine monophosphate cGMP)的酶的大家族,目前已
随着社会网络科技的积极发展,我国网络媒体机构和数以亿计的网民每年都在创造数以千亿计的网络信息,大量的网民在网络上发表和议论社会生活的某些事件,推动着网络的传播,造成网络舆情等的发展。网络信息传播是一把双刃剑,带给人类极大便利的同时也产生了许多网络隐患,使网络充斥着大量的负面的信息和错误的舆论导向,随时对社会公共安全形成巨大的威胁。信息通过网络迅猛传播,这一变化正在深刻地改变着人们的思维方式和行为方
采用网袋法研究了杉木和楠木叶凋落物以不同比例的混合分解及其养分动态,结果表明:杉木与楠木叶凋落物混合处理的分解速率和K释放率基本上均大于单独的纯杉木和纯楠木,而N和P
目的掌握某市汽车4S店存在的职业病危害因素种类、浓度(强度)及其防护措施。方法采用随机抽样方法,对汽车4S店存在职业病危害因素进行监测,调查相关职业卫生内容调查。结果职
开发清洁能源如氢能代替化石能源,可极大缓解能源紧缺以及环境污染问题。乙醇水蒸气重整制氢,具有产氢效率高、原料低毒和可再生等优点,近年来受到人们的广泛关注。非贵金属C
当今世界,经济全球化深入发展,科技进步日新月异,以高新技术为核心的知识经济占据主导地位,人才已成为支撑企业发展最重要的战略资源。毕业生招聘是人才队伍建设的基础,如何
新疆霍城县水定镇村民阿斯木江·吾甫卡生家的门头和别人的不一样,上面挂着一块醒目的牌子———霍城县凯赛迩科技开发有限责任公司。而上面展示的农用喷水喷药机、温室
20世纪初叶以来,西方马克思主义哲学的重要代表卢卡奇和俄罗斯白银时代哲学的重要代表别尔嘉耶夫,都从不同的理论视域出发,在对异化理论的继承基础上,进行了独特的理论探索。