基于Hadoop公存式计算的遥感产品生产系统

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:JK0803_zhouli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遥感技术是对地观测的重要手段,种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息,使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对地观测遥感卫星,如美国的Landsat、Terra、Aqua,法国的Spot等等,这些卫星每天将产生海量的对地观测数据,为生产全球范围的生态环境遥感专题产品提供了丰富的数据源。然而,面对海量的遥感数据以及复杂的专题产品生产算法模型,传统的串行生产方式由于较低的运行效率,已逐渐不能满足对大规模遥感数据及时、高效处理的要求。  针对此问题,论文利用Hadoop在分布式计算方面的优势,结合生态环境遥感专题产品的生产需求,构建了一套具有较高生产效率的遥感产品生产系统,实现快速、按需生产生态环境遥感专题产品。论文的主要研究内容包括:  (1)论文以全球环境监测指数和草原干旱指数产品为例,使用 MapReduce编程模型设计并实现了产品并行生产算法。结合MapReduce模型的工作原理和具体生产算法的特点,研究并设计了MapReduce模型的输入键、输入值和分区函数。针对具有多个 MapReduce任务的复杂生产作业,使用工作流技术解决各MapReduce模型间的依赖关系,确保专题产品的高效生产。  (2)基于构建的生态环境专题产品 MapReduce生产模型,使用单节点和Hadoop集群以串行和分布式计算的方式生产了全球范围内的相应产品,对比分析了串并行生产方式之间的效率差异,以及在不同计算节点情况下Hadoop集群的运算性能。  (3)基于 Hadoop分布式计算平台,结合 Java2 Platform Enterprise Edition(J2EE)、WebGIS等技术,设计并实现了全球生态环境遥感专题产品生产与服务系统。针对用户对于专题产品的生产需求,系统以接受订单的方式,利用Hadoop集群快速生产出符合用户要求的专题产品。系统围绕 Hadoop生态环境专题产品生产,实现了从订单管理、系统管理、数据管理到最终专题产品生产的一个较为完整的生产环境。与传统桌面型遥感产品生产系统相比,系统不仅有效提高了遥感专题产品的生产效率,同时也为生态环境领域相关研究人员提供一种方便、高效获取专题产品的方式。
其他文献
摘要:新形势下的有效课堂越来越多地引起教师们的关注,那么历史教师如何在有限的时间内讲“活”历史,做到举重以明轻,难度大的问题能深入浅出地讲出来,增大学生在单位时间内获得知识的密度,提高教学效率,是我们历史教师应该认真探索的课改课题。  关键词:初中历史;效率  一、要合理的利用历史故事来提升历史教学的效率  在进行“以生为本”视角下初中历史教学改革探索研究过程中,往往对于教师研究学生的学习特点有着
会议
癌症是目前死亡率最高的疾病,是名副其实的“头号杀手”。从天然生物中筛选出能与癌症发生、发展、形成等过程中各调节靶点特异结合的活性成分,已成为寻找抗癌药物的新热点。目前各国学者采用现代科学方法与技术从海洋生物中分离和鉴定出了多种具有抗肿瘤活性的天然物质,为研制开发抗肿瘤新药奠定了基础,显示出诱人的研究开发前景,从海洋生物及其代谢产物中筛选和提取具有特异化学结构的天然活性物质成为抗肿瘤药物开发的重要来
行人导航系统是一个多技术融合的技术系统,需要的基础支持技术包括GPS定位技术,GIS技术,无线通讯技术及计算机技术等。系统通过多技术的结合,实时为行人提供与位置相关的信息
会议
金属硫蛋白(MTs)在植物中普遍存在,它参与了许多生理过程,如生长发育、胚胎发生、衰老、果实的发育、成熟和抗逆等,暗示MTs可能在这些重要的生理过程中起着某些重要的作用。植物MTs基因中丰富的巯基含量及重金属结合能力决定了它功能方面的多样性,在植物MTs的众多特征中,其重金属胁迫的诱导性决定其在植物重金属解毒、抗氧化、质膜修复中都可能起重要的作用。而在对重金属离子对植物MTs基因表达影响的研究中,