基于集群间两级并行的海量遥感数据调度模型设计与实现

来源 :河南大学 | 被引量 : 0次 | 上传用户:disk_
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代空间遥感技术的发展已经使传感器的空间分辨率、光谱分辨率和时间分辨率大幅度提高,使得遥感图像的数据量大增,因而在遥感图像处理领域出现了两个主要问题:(1)遥感图像的处理速度过慢。在遥感图像处理中,受硬件条件的限制,人们从图像中获取信息的速度远远低于图像数据量的增长速度。(2)现有的单级并行调度算法已不能满足遥感图像的高性能、快速处理的要求。为解决上述问题,本文首先提出了一种基于集群间两级并行的海量数据调度模型;在此基础上,提出了基于集群间两级并行的任务调度算法,该算法主要由两个层次的任务调度算法构成:(1)集群间基于优先级的任务调度算法。(2)单计算节点基于算法生成树的遥感算法并行调度策略。因此,本文的研究工作主要从以下两个方面展开:第一,集群间的负载均衡策略和任务调度算法,提出了一种基于优先级的任务调度算法。第二,单计算节点如何采用多核多线程的方式加快遥感算法的执行速度。最后,研究如何将本文提出的调度模型和两级任务调度算法应用到实际的系统开发实践中,并论述了系统的设计和实现过程。以下是本文所做的工作和贡献:(1)提出了海量遥感数据并行处理模型。对几种常见并行处理模型进行研究,并分析海量遥感数据并行处理平台应达到的目标,结合遥感图像处理的实际需求,提出了集群间两级并行海量遥感数据并行处理模型。(2)集群间基于优先级的任务调度算法。这是应用于海量遥感数据并行处理模型的第一级的调度算法,本文通过对几种经典任务分配算法的分析,结合遥感数据处理的实际需求,提出了一种适用于集群间的任务调度算法,算法根据计算节点实时的性能和负载信息,来生成计算节点的优先级队列,经过四个步骤将任务分给并行计算节点;每次分配任务时,均实时的调整优先级队列。同时给出任务求解过程的优化操作,加快任务求解速度,节约计算资源。(3)单计算节点基于算法生成树的遥感算法并行执行算法,该算法是应用于海量遥感数据并处理模型的第二级任务调度算法。通过对遥感产品算法的拆分和依赖性分析,提出算法生成树的概念,在此基础上,设计并实现了基于算法生成树的并行算法执行方法,该算法能大幅度提高单计算节点的CPU利用率,缩短遥感算法的执行时间。(4)系统实现。结合环保部的实际业务需求和其自身的特点,在.Net开发平台下,实现了基于集群间任务并行和单计算节点内部算法组件并行的海量遥感数据并行处理平台——生态环境遥感产品生产分系统,该系统部署后,在一定程度上缓解了生态保护与检测方面的压力,解决了大数据量遥感数据处理这个关键问题,实现了遥感图像处理自动化、规模化,并实现了遥感产品生产过程的动态展示。使遥感产品生产简捷化,体现了系统的实用性和易用性的优势,从一定程度上提高了生产效率。平台产生的经济效益和社会效益比较明显。利用产品生产计划调度子系统对生产任务管理和遥感产品并行处理,使得生产效率大幅提高。
其他文献
一、近三年全市农村土地征收行政诉讼案件的情况及基本特点据统计,近三年全市涉及土地征收的行政诉讼案件并不多。三年来全市受理的农村土地征收案件共7件。其中,原告胜诉案
物联网是我国新一代信息技术的重要组成部分,它继承了互联网技术优点之后,推动了全球信息化的新浪潮,本文主要探讨物联网企业的核心竞争力以及提升对策。物联网的发展主要在
射频指纹的唯一性是基于射频指纹识别无线发射机的基础问题.将元件制造容差与漂移容差统一为元件容差,将发射机的所有元件等效为一个元件,建立了等效元件的射频指纹识别系统的数
矮晚柚是四川省遂宁市名优果树研究所所长彭永红从晚白柚中选育出的芽变新品种.遂宁矮晚柚是全国晚熟柚类品种中唯一连续两次获得金杯奖的品种,1999年在广东梅县全国第六次柚
研究针对乌梁素海沉积淤泥厚度及其营养物质含量进行了调查,结果表明乌梁素海沉积淤泥的淤积厚度分布呈现出明显的空间差异性,平均厚度为0.5 m,以大于0.1 m沉积淤泥厚度的面