论文部分内容阅读
以高分辨率遥感卫星为代表的新一代数据获取技术取得了较大进步,地理栅格数据在时空分辨率、数据类型、覆盖面积等方面不断提高,为地理应用提供了更多的数据信息,然而这些提高也带来数据量几何级增长,但同时也致使传统的遥感数据处理方法无法满足大规模地理栅格数据计算与分析需求。因此,研究面向大规模地理栅格数据的高性能计算方法与体系,进而为提高开发效率和解决复杂地学问题的能力具有十分重要的意义。为了解决大规模栅格地理数据并行处理所面临的难题,本文系统研究高性能计算架构下大规模地理栅格数据并行处理方法,引入MPI (Message Passing Interface)和MP (Multi processing)作为基础并行环境,研究栅格数据处理算法程序必备的功能和必须的流程,综合所有算法的共性,采用设计模式思想,构造符合面向对象程序基本原则的系统框架体系,构建一种协作式大规模栅格数据的并行处理框架(Cooperative Big Geographic Raster Data Parallel Processing Framework, CBGRDPPF),并结合地理栅格数据并行类型与复杂度等处理任务特点,探讨了在此框架下进行地学栅格数据处理任务的协同处理方法和技术,分析不同参数和环境对其运行速度、并行效率的影响,实验验证局域并行效率,实现对并行处理框架的优化,从而建立一种解决复杂地学问题的并行开发协作模式,为地理栅格数据的高效处理提供一种新的解决方法和技术支撑。本文的主要研究成果体现在如下几个方面:(1)提出了一种大规模地理栅格数据并行处理算法的并行解耦方法以MP工和MP作为基础并行环境,将地理栅格计算部分和并行计算支撑部分分别进行抽象和封装,作为相互协作的部件予以松耦合地装配和执行,有效地分离并行计算体系与地学问题的强耦合。(2)构建了协作式大规模栅格数据的并行处理框架在地理栅格数据并行处理机制及并行解耦方法研究的基础上,建立了适合于协同开发的数据块分块、分发、缝合的数据类模型,为实现地学栅格数据协同并行奠定了基础;建立了核心算法的封装类模型及开发策略,实现了代码开发与算法细节分离,保证了并行计算与分析应用工作的协同。(3)提出了基于并行解耦思想的地理栅格数据全局计算并行化方法针对内存一次无法装载的大型栅格地理数据却要进行地理栅格数据的全局计算,分析地学处理算法原理,基于CBGRDPPF框架利用对数据的横向、纵向划分、过程数据的分块暂存等策略,使各个并行进程在占用有限的内存空间情况下,分块依次处理整个栅格数据,大大降低了开发算法程序的复杂度,从而实现复杂并行地理数据计算任务高效并行。(4)提出了基于并行解耦思想的地理栅格数据动态计算并行化方法动态计算主要是指一些栅格数据的聚类算法步骤未知,计算过程动态迭代。本文通过FCM算法为代表的聚类算法,基于CBGRDPPF框架,通过数据多策略的划分、序列化读取、计算同步和广播机制,实现一种动态计算的地理栅格数据并行处理方法,从而解决了不平衡计算量的并行化问题。