基于Hadoop的海量气象水文数据并发处理模型

来源 :计算机应用 | 被引量 : 0次 | 上传用户:a306783805
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同时,基于MapReduce编程框架完成海量气象水文数据的高效并行处理。仿真实验中,CPHDH能够有效利用Hadoop平台的分布式存储和并行处理框架实现海量降雨要素信息的高效存储和处理,相比单机运行基于遗传算法的气象观测数据区间值属性约简算法(MOIvGA)进行降水影响因子属性约简,CPHDH中的属性子集对无雨、小雨和中雨预测效率分别提高了10. 74%、6. 19%、4. 42%。
其他文献
<正>沙坪坝区是重庆直辖市的科教文化中心,区域内有幼儿园175所、小学55所、初中17所、普通高中10所、中等职业学校12所、高等院校18所、教师进修学院1所、广播电视大学分校1
随着社会经济的不断发展,技术的不断进步,在建筑施工方面,对相关的技术要求都有了很大的提升。当前,虽然现浇连续箱梁具有一定的发展优势,也是当前被广为运用的一种桥梁结构
在当今以班级授课制为主要教学组织形式的课堂场域中,座位因其与学生参与教学、生理健康、学习效率、课堂纪律等诸多方面有密切关系而成为教师、家长和学生的关注点。此时,座
随着各种事故和紧急事件的频繁发生,对于大量人员聚集场所,大型活动的组织,必须预先对人员的疏散方案进行充分地准备,做好各种应急的疏散预案。因为,人员疏散的过程中潜伏着巨大的
中药葛根为豆科植物野葛或粉葛的干燥根,中医常用的辛凉解表药。功用升阳解肌,透疹止泻,除烦止渴。主治伤寒、温热头痛、项强、烦热消渴、泻泄、痢疾、斑疹不透、高血压、心绞痛
东汉至北魏时期是洛阳城市发展史上最为光辉灿烂的一段时期。在这段时期内,洛阳城长期作为一统帝国或北中国地区割据政权的政治、经济、文化、交通等中心,在中国古代都城发展史
青少年犯罪问题是全世界普遍关注的社会问题,如何预防和减少青少年犯罪是各国不变的主题。在我国,青少年犯罪问题解决得如何,关系到青少年的健康成长和我国的长治久安与未来,
食管癌是最常见的十大恶性肿瘤之一,全世界每年发病人数超过30万,其中半数是中国人。食管癌的发病率在不同地区、不同人群中差别很大,这种显著的地理分布差异特征可能与各地存在
在水利工程管理中,运用数据挖掘技术能够在海量数据中及时发现有价值、潜在的知识特点技术,并对其进行提炼,让水利工程管理趋向于科学化、专业化。文章主要从数据挖掘技术含
建立复合调味料中姜黄素含量的测定方法.样品经甲醇溶解,涡旋超声提取复合调味料中的姜黄素.以甲醇-4%冰乙酸水溶液(体积比为80:20)为流动相,采用C18柱为分析柱,柱温为30℃,