论文部分内容阅读
现代空间遥感技术的发展已经使传感器的空间分辨率、光谱分辨率和时间分辨率大幅度提高,使得遥感图像的数据量大增,因而在遥感图像处理领域出现了两个主要问题:(1)遥感图像的处理速度过慢。在遥感图像处理中,受硬件条件的限制,人们从图像中获取信息的速度远远低于图像数据量的增长速度。(2)现有的单级并行调度算法已不能满足遥感图像的高性能、快速处理的要求。为解决上述问题,本文首先提出了一种基于集群间两级并行的海量数据调度模型;在此基础上,提出了基于集群间两级并行的任务调度算法,该算法主要由两个层次的任务调度算法构成:(1)集群间基于优先级的任务调度算法。(2)单计算节点基于算法生成树的遥感算法并行调度策略。因此,本文的研究工作主要从以下两个方面展开:第一,集群间的负载均衡策略和任务调度算法,提出了一种基于优先级的任务调度算法。第二,单计算节点如何采用多核多线程的方式加快遥感算法的执行速度。最后,研究如何将本文提出的调度模型和两级任务调度算法应用到实际的系统开发实践中,并论述了系统的设计和实现过程。以下是本文所做的工作和贡献:(1)提出了海量遥感数据并行处理模型。对几种常见并行处理模型进行研究,并分析海量遥感数据并行处理平台应达到的目标,结合遥感图像处理的实际需求,提出了集群间两级并行海量遥感数据并行处理模型。(2)集群间基于优先级的任务调度算法。这是应用于海量遥感数据并行处理模型的第一级的调度算法,本文通过对几种经典任务分配算法的分析,结合遥感数据处理的实际需求,提出了一种适用于集群间的任务调度算法,算法根据计算节点实时的性能和负载信息,来生成计算节点的优先级队列,经过四个步骤将任务分给并行计算节点;每次分配任务时,均实时的调整优先级队列。同时给出任务求解过程的优化操作,加快任务求解速度,节约计算资源。(3)单计算节点基于算法生成树的遥感算法并行执行算法,该算法是应用于海量遥感数据并处理模型的第二级任务调度算法。通过对遥感产品算法的拆分和依赖性分析,提出算法生成树的概念,在此基础上,设计并实现了基于算法生成树的并行算法执行方法,该算法能大幅度提高单计算节点的CPU利用率,缩短遥感算法的执行时间。(4)系统实现。结合环保部的实际业务需求和其自身的特点,在.Net开发平台下,实现了基于集群间任务并行和单计算节点内部算法组件并行的海量遥感数据并行处理平台——生态环境遥感产品生产分系统,该系统部署后,在一定程度上缓解了生态保护与检测方面的压力,解决了大数据量遥感数据处理这个关键问题,实现了遥感图像处理自动化、规模化,并实现了遥感产品生产过程的动态展示。使遥感产品生产简捷化,体现了系统的实用性和易用性的优势,从一定程度上提高了生产效率。平台产生的经济效益和社会效益比较明显。利用产品生产计划调度子系统对生产任务管理和遥感产品并行处理,使得生产效率大幅提高。